hadoop笔记

启动hadoop任务

cd /opt/soft/hadoop313/share/hadoop/mapreduce/

正式启动hadoop命令 指定对应的架包 入口函数类 读入路径 写路径 （路径是hadoop的路径 hdfs dfs -ls /）

hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar wordcount /inpath /putpath

(在hadoop目录下创建一个intput,并在input下传送一个文件)
然后执行



查看oupath下是否存在内容

hdfs dfs -ls /outpath

查看输出文件内容

hdfs dfs -cat /outpath/part-r-00000

Tips

可能没法在hadoop创建东西，是进入安全模式了,需要退出

hdfs dfsadmin -safemode get|leave|enter
//					查看状态  离开  进入

注意：
运行之前，要将统计文件存放到/inpath目录内
运行结果，在/outpath目录中查看
不能提前创建/outpath目录，任务会自动检测是否存在，如果存在输出路径，会报错，停止运行
可能报错：

在yarn-site.xml中添加这一行

 <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>  
   <value>false</value> 
 </property>

进入可视化端口

8088端口

19888端口

启动历史服务器

mr-jobhistory-daemon.sh start historyserver

即可进入19888端口

可以看日志明细