超详细简单易懂的hadoop数据的预处理

hadoop数据的预处理
第一步使用xshell连接linux的服务器没有服务器的连接自己的虚拟机
连接服务器后查看要处理的原数据
处理后的结果
接下来使用命令

cat small_user.csv | sed 's/^\(.*\),\(.*\),\(.*\),\(.*\),\(.*\),\(.*\)$/\1\t\2\t\3\t\5\t\6/g'

然后使用cat -n命令进行排序

cat -n

删除数据后面的小时
small_user.csv是我从windows中导入的文件包你就写你需要处理的包

cat small_user.csv | sed 's/^\(.*\),\(.*\),\(.*\),\(.*\),\(.*\),\(.*\)$/\1\t\2\t\3\t\5\t\6/g' | sed 's/ [0-9]..*$//g' | cat -n

数据太多了先取10行的数据

先取10行后排序
cat small_user.csv | sed 's/^\(.*\),\(.*\),\(.*\),\(.*\),\(.*\),\(.*\)$/\1\t\2\t\3\t\5\t\6/g' | sed 's/ [0-9]..*$//g' | head -n 10 | cat -n

将文件的处理结果从定向到名为1的文件文件的名字随你我是为了方便
接下来查看文件1
还差省份了
显示省份的文件
将上面的文件1 和 文件2 按列拼接
最后返回执行的结果
后面的就是尝试大量的数据拼接可以尝试去做

从原数据中取出一定量的数据数据太大不好处理
将文件进行拼接
有时候，不能觉得傻人不好，总想逃避学习的“聪明人”，
或许更傻。
如果觉得自己聪明，逃避了学习五笔的痛苦，其实自己损失大了。
打字快，写报告就很快乐，
而且，手指记忆法也就会了。
脚本就是手指记忆的。
说学不会脚本的原因，大多是，因为没练习过手指记忆练得多了。手一过就出来了。

最后就是加油 奥利给