![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
可乐鸡翅-09
这个作者很懒,什么都没留下…
展开
-
Hadoop-安装 && hdfs命令
vm中安装Centos7,secureCTR,WinSCP,安装后使用完全克隆方式,产生三台Centos7做分布式安装。克隆出来后的网卡并没有新增,还是原来的ens33,而且ip地址也都不重复,且都能上网,所以没有做其他配置,等后期出现问题在行解决。(在克隆玩几台机子后,远程连接的时候总是会出现这样的问题,在机子上ifconfig后int addr总是会消失,在命令断执行命令 service ne...原创 2019-02-23 15:06:55 · 498 阅读 · 0 评论 -
HDFS-API 操作
>hdfs 动态扩容: HDFS 中存储的文本副本大小:默认是128M 参数:dfs.blocksize 默认128M 每一个副本大小,这是客户端的行为,传一个副本或者获取一个副本,值获取配置大小的副本,也就是存储的大小都是由客户端决定的。 def.replication 默认副本数量3个,也是由客户端决定, 元数据存储目录: dfs.namenode.name.dir ...原创 2019-02-24 22:59:44 · 165 阅读 · 0 评论 -
Hadoop-mapReduce
什么是MR: start-dfs.sh 启动hdfs集群 start-yarn.sh 启动yarn集群 ./hadoop-daemon.sh start namenode/datanode 单个节点的启动 局部统计(各干各的:Map):每一台机器上在其对应的数据上,执行相同的程序,每一个实例执行一部分的程序,得到每一台机器上的结果 结果就是A:1000, 也就是A这个单词出现了10...原创 2019-03-09 20:36:53 · 98 阅读 · 0 评论