- 博客(9)
- 资源 (5)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 JDK1.8u162以及JDK1.8所有历史版本官网下载地址
很多网友想看JDK1.8里面所有的版本,今天我就给大家带来了所以JDK1.8版本的官方下载地址,其中包括Windows版本和Linux版本JDK1.8所有版本官网下载链接https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html比如这里以jdk1.8u162为例...
2019-07-25 14:38:12
68148
6
原创 如何在impala中修改parquet表的字段类型以及修复过程
一、需求场景众所周知impala和hive是共用一天元数据。因为前期设计impala外部表的时候考虑不足,某些字段设置成int类型,但是随着业务增长数值已经超过了int的最大值,不能满足业务需求,所以要对某些int类型的字段进行修改字段类型为string。但是parquert在存储上,做了加密,二级制存储压缩,因为Impala对Parquet文件中列的顺序很敏感,所以在表的列定义与Parque...
2019-11-22 18:22:17
8283
原创 浅谈Hive的动态分区以及Impala的动态分区
一、需求场景:当你有一张hive表,里面也有一个字段是时间字段,每天的数据是按这个时间字段导入进去的,这时候你就需要有动态分区这个东西了。分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围,从而提高速度。分区分为两种:静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判...
2019-11-22 17:40:16
2552
原创 DBeaver连接ClickHouse实操
1.从DBeaver官网下载安装包并点击下一步下一步安装 https://dbeaver.io/download/2.在DBeaver中创建新链接,选择ClickHouse3.填写ClickHouse所在机器的ip地址和用户名密码即可,其他URL自动会填写4.点击测试链接按钮,在弹出来的地方选择 下载按钮,等它全部下载完驱动后即可测试连接5.点击测试...
2019-08-02 15:26:43
16512
1
原创 很多网友想看CDH集群中安装Presto版本选择以及踩过的巨坑
Presto安装版本选择以及所必须要求的JDK版本踩过的坑1.很多网友想看如何在CDH集群中安装Presto,今天我给大家带来了在CDH5.14.2中安装Presto的全程记录实操文档官网文档地址:https://prestodb.github.io/docs/current/release.html官网GitHub地址:https://github.com/prestodb/pres...
2019-07-25 15:47:17
3373
2
原创 关于impala2.x版本不支持orc格式的官网说明
有时候在hive中想使用orc格式的表,但是impala查询却不支持,查看cloudera官网后发现确实说明了cloudera官网地址:https://www.cloudera.com/documentation/enterprise/5-14-x/topics/impala_file_formats.html直接搜索orc即可找到但是在cdh6.1.x后版本中也就是impala3...
2019-07-04 18:14:03
3529
1
原创 idea中使用自带maven打包package,install,deploy的时候报错
在install成功iql-common后,同时iql-web和iql-engine这两个刚才中引用到了iql-common包,打包iql-web和iql-engine的时候,出现了如下错误:"C:\Program Files\Java\jdk1.8.0_161\bin\java" -Dmaven.multiModuleProjectDirectory=D:\ideatest\IQL\i...
2018-11-21 10:47:25
6269
1
原创 [函数]Hive "行转列"和"列转行"
在Hive实际开发过程中,我们会遇到“行转列”和“列转行”的场景。比如:1、 需要取“订单号”对应的所有商品“SKU号”,商品“sku号”放在一列,即从table1查询出table2;2、 当商品“sku号”均在一列的时候,需要查询每个“sku号”对应的“订单号”,即从table2查询出table1。实现方法:1、从table1查询出table2:SELECTsale_ord_id,conca...
2018-05-11 14:15:01
823
转载 Impala表导入kudu时遇到的问题
今天在hue上执行数据的重新导入:1、删除原先的kudu表:drop table events_tab_2;2、需要在impala里创建kudu新表:CREATE TABLE events_tab_2( user_id STRING , item_id STRING , create_time BIGINT , col_1 STRING , col_12 STRING , ...
2018-04-20 14:26:16
2573
flume中的FileChannel的优化
2018-04-20
软件测试技术研究,软件测试的起源、软件测试的各种技术
2009-07-01
第4章_计算机局域网
2009-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人