后面hadoop如何处理数据等有时间再写,今天先将Hadoop入库的步骤更新如下:

1.dfs放入文件sourcefile到的destfile中

wKioL1M-R9zRFZNJAAA56DJA7v4075.jpg

destfile目录需要与脚本中指定的目录一致,不然找不到文件。

2.运行相关shell命令中,该脚本中涉及到hadoop中数据的处理,处理后的数据会上传到mysql,略过不提。

wKioL1M-i_GQ48gIAAAkECnFdUg044.jpg

3.查看数据库

wKiom1M-jdWTHCwRAAFdVxfJtzg947.jpg

wKioL1M-ja3ixkyHAAC1rB4E9ZY274.jpg

wKiom1M-jdWw4T-jAAApQB46sok204.jpg

具体操作参考mysql指令和sql命令。