Pig在hadoop中的运用

hadoop集群

master操作

第一步：为我们要用于hadoop集群的文件创建一个文件夹

hdfs dfs -mkdir -p /usr/local/hadoop3/Info

第二步：检查一下文件夹创建成功否

hdfs dfs -ls /usr/local/hadoop3/

第三步：将我们需要使用的txt文本传入我们指定的位置

hdfs dfs -put travel.txt /usr/local/hadoop3/Info/

第四步：检查文件是否传入成功

hdfs dfs -ls travel.txt /usr/local/hadoop3/Info/

第五步：写一下test01.pig的内容

hadoop@master:/usr/local/pig/testInfo$ vim hdtest01.pig

test01=load 'hdfs://master:8020/usr/local/hadoop3/Info/travel.txt' using PigStorage(',');
dump test01

第六步：在master开启historyserver

mapred --daemon start historyserver

这里因为我的hadoop版本是3.3.5不适配原本的：mr-jobhistory-daemon.sh start historyserver

第七步：jps测试historyserver是否启动成功

可以看到JobHistoryServer说明启动成功

第八步：运行hdtest02.pig

pig -x mapreduce hdtest01.pig