大数据
文章平均质量分 89
0x3E6
好记性不如烂键盘
展开
-
Hive分区表修改(增删)列
Hive增加、删除列原创 2022-11-19 20:20:12 · 2945 阅读 · 1 评论 -
一种处理Hive元数据与文件类型不同时SQL查询失败的方法(二)
继上一篇之后,又发现了一种新的报错位置。本篇对这种情况进行处理。并验证这种处理方式是否适用于Hive on Spark环境。原创 2022-03-24 10:11:31 · 2742 阅读 · 0 评论 -
一种处理Hive元数据与文件类型不同时SQL查询失败的方法
通过修改Hive(2.1.1-cdh6.3.0)源码的方式,处理Hive元数据与文件类型不同时,SQL查询失败的问题,将类型不兼容的字段查询结果设置为空值。原创 2022-03-08 01:29:30 · 2254 阅读 · 0 评论 -
一种Hudi on Flink动态同步元数据变化的方法
HoodieFlinkStreamer流程分析,及一种Hudi on Flink实现动态Schema Evolution的方法。原创 2021-12-05 11:29:00 · 4582 阅读 · 5 评论 -
Hive源码调试
一种Hive源码(cloudera/hive cdh6.3.0)调试方法原创 2021-03-19 22:34:34 · 881 阅读 · 0 评论 -
一种动态更新flink任务配置的方法
通过添加控制流的方式实现flink任务配置的动态更新原创 2020-04-25 14:47:20 · 4289 阅读 · 0 评论 -
一种处理Sqoop导出过程中数据的方法
处理和过滤Sqoop导出数据的一种方法原创 2020-02-05 22:30:21 · 822 阅读 · 0 评论 -
python通过kerberos连接impala操作hive
一、python2版本1. docker基础镜像tobyhferguson/impyla_tester2. 安装相关包及配置2.1 安装包参考python3.6.5基于kerberos认证的hive和hdfs连接调用yum install libsasl2-devyum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_...原创 2019-08-01 14:11:00 · 3940 阅读 · 2 评论