- 博客(5)
- 收藏
- 关注
RSS订阅原创 phoenix 三板斧之加盐压缩加索引
phoenix 作为大数据生态圈中的一员得力干将，并没有大家想象中的那么神秘，它对原始的hbase 进行了封装，而hbase是列式存储数据库，可能跟传统的关系型数据还是有那么一点差异的，那么想要熟悉并初步掌握phoenix,则需要熟悉它的三板斧之功效：...
2021-06-26 21:51:05
550
3
原创 spark 将hive 中用户画像的数据写入hbase
用户场景：当用户数据量在千万级别的时候，而用户画像的标签却有几百个的时候，通过bulkload 将数据导入hbase ，由于需要对所有数据进行排序所以性能上而且不能出现任何数据重复的情况
2021-06-05 11:43:36
629
1
原创 CDH6.3.2 和HDP 3.15 百度网盘下载
下载免费版本的CDH6.3.2，请关注 庶说大数据 发送CDH 获取提取码https://pan.baidu.com/s/1bSEJ3z7eMYFUtE0g689fwg下载免费版本的HDP3.1.5，请关注 庶说大数据 发送HDP获取提取码https://pan.baidu.com/s/1zpVBTbFNcA-oQDrWxJA74g...
2021-04-18 12:51:40
1730
7
原创 spark driver 连接RM报错，不断尝试重连
记录一次生产异常，spark driver 连接RM报错，不断尝试重连接，报错如下：21/04/16 17:00:05 INFO RetryInvocationHandler: java.io.EOFException: End of File Exception between local host is: "prod-hadoop01/172.19.51.11"; destination host is: "prod-hadoop03":8032; : java.io.EOFException; Fo
2021-04-18 12:00:22
623
3
原创 hive 分区中存在中文导致表删除不掉处理方案
在实际项目中，修改原来的表结构，增加一个交易类型字段作为组合分区，由于是BI展示的表，交易类型实际存储的是中文，而且是已经投入使用的表，不能重新修改表名。1.查看表分区结构如下：show partitions ads_mk_coupon_receive_use_info;2.尝试通过删表，然后一直卡着没有任何反应，然后删除第一个分区，显示是成功的，但是结果并没有删除掉：alter table ads_mk_coupon_receive_use_info drop partition(ds_dt=.
2020-12-31 11:32:32
772
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人