![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
文章平均质量分 60
菜鸡儿的架构师之路
这个作者很懒,什么都没留下…
展开
-
Hadoop学习1-MacBook下Hadoop-2.9的配置
MacBook下Hadoop-2.9的配置 由于研究生课程需要,今天下午搭建了本地Hadoop环境。我用的是Hadoop-2.9版本,不打算一上来就3.x(其实是因为大部分教程都是2.x, 呵呵)。 本人MacBook Pro配置是 8G内存,256GSSD,InterCore I5处理器。跑起来3个CentOS虚拟机+IDEA+网易云+有道云笔记+QQ+微信+20个Chrome网页不成问题,大概...原创 2018-09-24 23:14:53 · 750 阅读 · 0 评论 -
CentOS虚拟机修改ip为静态IP地址
CentOS虚拟机修改ip为静态IP地址 很多同学在玩耍虚拟机的时候使用的是NET模式,这种方式为虚拟机申请ip地址默认是DHCP,也就是动态申请的,ip地址经常变化,不方便操作。 在虚拟机里使用ifconfig命令查看自己的虚拟机用的是哪一种网络。 比如我这里使用的是ens33,记住这个。 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 ...原创 2018-09-25 10:47:31 · 824 阅读 · 2 评论 -
Hadoop学习2-hdfs节点间文件块分配原理
hdfs节点间文件块分配原理 hdfs hdfs的全称是Hadoop Distributed File System,是一个常用的分布式文件系统。当然也可以选择其他文件系统。 hdfs中的文件保存方式 在hdfs中,文件被客户端分解成若干块,每一块都有多份拷贝(拷贝的数量可配置),每一份拷贝在不同的datanode节点上。这就保证了如果其中一台datanode节点宕机,文件数据也不会丢失。 元数...原创 2018-09-25 18:25:04 · 1388 阅读 · 3 评论 -
Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序
Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序 新建一个Maven项目 不用说了,普通的Maven项目就行。 加入Hadoop依赖 其中的${hadoop.version}对应自己使用的Hadoop版本 hadoop-client <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop...原创 2018-09-26 23:19:31 · 1278 阅读 · 3 评论