Hadoop初体验
HDFS初体验
HDFS shell常用命令
# 在/目录创建一个目录
hdaoop fs -mkdir /itcast
# 上传文件到/itcast目录中
hadoop fs -put zookeeper.out /itcast
# 查看/目录
hadoop fs -ls /
# 查看存储余量
hdfs dfs -df -h
Web UI页面操作
思考
Hadoop MapReduce +YARN初体验
# 官方自带的示例jar包目录
/export/server/hadoop-3.1.4/share/hadoop/mapreduce
hadoop-mapreduce-examples-3.1.4.jar
是官方提供的示例jar包。
计算圆周率Pi的值–官方示例
# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce
# 计算圆周率Pi的值
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4
第一步
是先连接到YARN集群
的主角色ResourceManager
,找YARN
申请运算资源
词频统计–官方示例
# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce
# 统计词频
## hadoop jar jar包名 统计词频参数 指定统计文件 结果输出文件
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/hlm.txt /out/hlmcount
第一步
是先连接到YARN集群
的主角色ResourceManager
,找YARN
申请运算资源
# 查看统计输出结果
hdfs dfs -cat /out/hlmcount/part-r-00000