大数据组件-hdfs 常用命令

最新推荐文章于 2024-07-22 18:32:14 发布

Eistert

最新推荐文章于 2024-07-22 18:32:14 发布

阅读量1.1k

点赞数

分类专栏：大数据 && Java 框架及组件等常用命令文章标签： hdfs hadoop big data

本文链接：https://blog.csdn.net/qq_39595769/article/details/122035594

版权

大数据 && Java 框架及组件等常用命令专栏收录该内容

17 篇文章 1 订阅

订阅专栏

使用shell脚本导出数据库中的数据，上传至HDFS中

mysql -u'user' -p'xxxx' -h 'host-ip' -e "select fuid,uid from video.follower_00"

运行脚本

sh collect_data_full.sh
sh collect_data_incr.sh

查看数据命令

hdfs dfs -ls /user/cdh/ods

hdfs dfs -cat /user/cdh/ods/user/20210413/part-m-00000 | head -1

hdfs dfs -cat /user/cdh/ods2/user/20210413/part-m-00000 | head -1

hdfs dfs -ls /user/cdh/ods/user_order/20210413

hdfs dfs -cat /user/cdh/ods/user_order/20210413/part-m-00000 | head -1

hdfs dfs -cat /user/cdh/ods2/user_order/20210413/part-m-00000 | head -1