hadoop笔记
启动hadoop任务
cd /opt/soft/hadoop313/share/hadoop/mapreduce/
正式启动hadoop命令 指定对应的架包 入口函数类 读入路径 写路径 (路径是hadoop的路径 hdfs dfs -ls /)
hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar wordcount /inpath /putpath
(在hadoop目录下创建一个intput,并在input下传送一个文件)
然后执行
查看oupath下是否存在内容
hdfs dfs -ls /outpath
查看输出文件内容
hdfs dfs -cat /outpath/part-r-00000
Tips
可能没法在hadoop创建东西,是进入安全模式了,需要退出
hdfs dfsadmin -safemode get|leave|enter
// 查看状态 离开 进入
注意:
运行之前,要将统计文件存放到/inpath目录内
运行结果,在/outpath目录中查看
不能提前创建/outpath目录,任务会自动检测是否存在,如果存在输出路径,会报错,停止运行
可能报错:
在yarn-site.xml中添加这一行
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
进入可视化端口
8088端口
19888端口
启动历史服务器
mr-jobhistory-daemon.sh start historyserver
即可进入19888端口
可以看日志明细