- 博客(5)
- 收藏
- 关注
RSS订阅原创 关于解决hive执行报：Cannot run program “bash“ 的问题
分析：既然偶尔能执行成功，那说明Cannot run program "bash"的问题可能是内存分配不足导致命令执行不成功。细看报错问题：Exception from container-launch. Container id: container_1701080424465_0030_02_000003 Exit code: 0 Exception message: Cannot run program "bash" ，发现是container启动不成功。2、在其他节点也完成该配置的修改。
2023-12-03 15:59:34
128
1
原创 flume数据采集转存hive报错的问题
我采用的是hdfs sink，在开始时，采用的是最简单的配置，只配置了hdfs端的转存路径，其他的均采用默认设置。而hdfs sink默认的为sequencefile文件类型，该类型为二进制文件，需要特定的编码进行解析。而我采集到的数据为json格式，我希望hive可以自己提取我所需字段，所以在建表时，采用了ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'的形式。而json反序列化要求文件格式是可以识别的文本形式，因此导致转换出错。
2023-12-01 14:42:11
661
1
原创 解决centos自动最小化安装的问题
step2：返回主页面，点击新建的虚拟机，选择虚拟机设置，在连接框，再选择使用iso映像文件。step1：在安装界面选择稍后安装映像文件。step3：开启虚拟机即可进入自定义安装。
2022-10-19 20:58:32
1140
原创 数据库建模—维度建模
上篇文章介绍了er模型，本次接着往下介绍维度数据模型，两者都是数据库建模的重要基础，分别适用于不同的场景。由于本人是边学习边发文，经验不足之处还请见谅，错误之处欢迎指教。通俗来说，就是按照业务流程需求，将一个业务看作一个事实，事实所处的环境称为维度。如一个下单流程中的付款业务也看作为一个事实，其付款时间，付款人，付款商品则可以看作维度。因此，其包括事实和维度两个部分。因此在构建表时，先确定事实表，再确定维度表，一个维度表可以被多个事实表对应，以减少数据冗余。
2022-10-16 13:41:58
1403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人