HDFS
吓人一跳
有问题可沟通本人, 博客留言即可
展开
-
一次关于 CDH 中 Spark SQL代码操作Hive无法连接Hive元数据问题
如题,最近想用 Spark SQL 操作数据 写入 Hive ,本地测试逻辑OK,发布线上发现连接不上Hive元数据,各种修改,头痛。终于发现问题,记录一下方便后来人。关于版本:CDH --> 5.16.1Hive -->1.1.0Spark --> 2.3.0Scala --> 2.11.6版本不对应也可以参考,毕竟问题出现的,和版本关系不太大~废话不多,首先是具体报错信息情况如下:Spark 打包运行过程中,并无明显报错,但是有一个现象就是运行状态由 .原创 2020-10-29 11:16:46 · 1235 阅读 · 0 评论 -
查看 HDFS 文件前几行、后几行
近日需要,从hdfs导出一些测试文件,找到一些命令,特此记录随机返回指定行数的样本数据hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据hadoop fs -cat /test/gonganbu/scene_analysis_s.原创 2020-10-27 16:49:16 · 1677 阅读 · 0 评论 -
Linux下添加子用户,并且同步到HDFS中
1. 为Linux创建子用户,并添加root权限使用root账户创建子用户 并添加密码adduser hadooppasswd hadoop // 添加密码 如果做ssh 这个必须要做,因为生成密钥向远程发送的时候是需要密码的添加用户组,并查看确认添加成功usermod -a -G hadoop hadoopcat /etc/group赋予root权限先切换到root的用户sudo nano /etc/sudoersroot ALL=(ALL) ALL .原创 2020-07-21 18:49:58 · 607 阅读 · 0 评论