- 博客(2)
- 收藏
- 关注
原创 hive和impala操作parquet文件timestamp带来的困扰
前言:准备使用hive作数据仓库,因历史遗留问题,原先遗留的数据处理都是impala处理的,数据文件是parquet文件,因本身集群资源少,而处理的文件很大,准备使用hive离线分析将小文件推送到db或者impala进行展示操作。 准备:搭建cdh5.9,将原有的数据从一个集群迁移到现有的集群。对数据按照天进行动态分区,分区数据仍然使用parquet格式。 问题:因分区字段为timestamp
2017-05-24 17:40:16 3522
原创 spark在eclipse中遇到的问题及处理措施_标记下
环境:cdh5.9 spark1.6 本地开发环境:下载了最新的ide:scala-SDK-4.6.0-vfinal-2.12-win32.win32.x86_64 开始没有使用maven,而是使用eclipse直接加jar包的方式。 下面截图报错: More than one scala library found in the build path (G:/scala-SD
2017-05-23 16:19:44 434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人