![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据C位
文章平均质量分 56
_云上的听者_
不要想第一步就踏上人生的金砖,哪怕是坎坷、荆棘、泥淖,只管大胆地踏出,当你终于踏上属于你的那块金砖,回首顾盼,步步都是金砖;滴水穿石,不是力量大,而是功夫深!!!
展开
-
关于hive2.1.x版本下的分区表 某个分区下select不出数据,但是对应的hdfs目录location确实存在数据,使用hive下的msck命令repair
1hive版本2.1.1版本(其实版本不是很重要,其他低一些的版本也是有这个命令的,即同样参考本文章操作):2 问题呈现HDFS上有数据:如下shell呈现:[hive@cdh-test-01 ~]$ hadoop fs -cat /user/hive/warehouse/test.db/t_psn_par/dt=20210318/*1;Jay;1995;Xizang2;Lily;1991;Shanghai3;Jack;1992;Guangxi4;Jenny;1999...原创 2021-03-19 20:40:08 · 944 阅读 · 0 评论 -
使用sqoop的关于单,多表操作以及--split-by&-m联合使用的注意事项
1 理论sqoop如果不加入相关的参数,就只是单单的单个表的导入| 出,在生产中不适用,加入相关参数比如:-e|--query<同时替换--where、-table、--columns>就可以实现关联多张表的数据的导入|出了,引用官方一张截图如下:接下来 -->>场景:sqoop import--connect jdbc:postgresql://...../.....--username jagel95--query"select * fro...原创 2020-12-11 11:54:04 · 761 阅读 · 0 评论 -
spark 画图详解:资源调度再到任务调度
讲说spark的资源调度和任务调度,基本的spark术语,这里不再多说,懂的人都懂了。。。按照数字顺序阅读,逐渐深入理解:以下所有截图均为个人上传,不知道为什么总是显示别人的QQ,好尴尬,无所谓啦,开始吧~~1 宽窄依赖与Stage划分:上熟悉的图:在 Spark 里每一个操作生成一个 RDD,RDD 之间连一条边,最后这些 RDD 和他们之间的边组成一个有向无环图,这个就是 ...原创 2018-10-12 15:04:21 · 955 阅读 · 0 评论 -
实用详解spark的读取方法textFile和wholeTextFiles
textFile()和wholeTextfile()之间的区别,用测试数据和测试结果来证明。原创 2018-10-12 15:16:21 · 17082 阅读 · 5 评论 -
实战配置Hbase_ACL 权限
1Hbase自身权限控制HBase的权限管理包括两个部分,分别是Authentication&AuthorizationAuthentication:针对某访问ip或者主机 是否有权成为集群的regionserver或者client端;其中Authentication由kerberos提供解决方案(机器级别的安全认证),用户级别的Authorization由ACL模块控制;k...原创 2019-05-24 10:49:58 · 1835 阅读 · 0 评论