![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
ccflyfly
这个作者很懒,什么都没留下…
展开
-
MapReduce中mapTask和reduceTask任务数
MapReduce分为map阶段和reduce阶段,两个阶段都是多个任务并行处理map阶段:MapTask个数为number of splits(输入文件的切分数)reduce阶段:ReduceTask个数为number ofpartition (分区数,有几个分区就会最终输出几个文件)...原创 2020-07-04 19:18:00 · 1000 阅读 · 0 评论 -
Hadoop之HDFS小文件存档
HDFS是按块存储,每个块的元数据存储在namenode内存中,因此大量的小文件会耗尽namenode内存。HDFS通过文件存档来解决这个问题归档是需要启动YARN归档文件把/user/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/output路径下。hadoop archive -archiveName input.har –p /user/input /user/output查看归档hadoop fs -lsr...原创 2020-07-02 10:42:09 · 198 阅读 · 0 评论 -
Hadoop之HDFS上传下载
上传至HDFS简化流程:数据是存储在datanode上,因此客户端上传时需要知道往哪个datanode传输数据,而namenode的作用就是根据一定策略向客户端分配datanode。上传时,客户端向datanode请求上传,然后namenode会将datanode的地址发送给客户端,客户端根据地址来上传副本。从HDFS下载简化流程:下载时,客户端向datanode请求下载,然后nameNode通过查询元数据,找到文件块所在的DataNode地址,发送给客户端,客户端会挑选一台DataN.原创 2020-07-01 18:18:24 · 215 阅读 · 1 评论 -
Hadoop之HDFS Shell命令
(1)-help:输出这个命令参数 hadoop fs -help rm(2)-ls: 显示目录信息 hadoop fs -ls /(3)-mkdir:在HDFS上创建目录 hadoop fs -mkdir -p /sanguo/shuguo(4)-moveFromLocal:从本地剪切粘贴到HDFS touch kongming.txt hadoop fs -moveFromLocal ...原创 2020-06-30 20:13:32 · 186 阅读 · 0 评论 -
yarn 8088 页面无法打开:拒绝连接请求
防火墙已关闭yarn-site.xml配置:<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.resourcemanager.hostname</name...原创 2020-06-28 20:59:02 · 1516 阅读 · 0 评论