- 博客(3)
- 资源 (3)
- 收藏
- 关注
原创 Hive中ORC文件压缩及执行效率比较
因为orcfile的压缩快,储存快,所以我们一般会使用orcfile储存格式,压缩算法支持采用orc支持的zlib格式和snappy格式,对于DWD/DWM/DWS/APP层,为了执行的效率,可以使用比较土豪的方式:orcfile+snappy。比对三种主流的文件存储格式TEXTFILE 、ORC、PARQUET。层的数据,一般采用orcfile+zlib格式,来节省磁盘的空间 。11.4 G 单个拷贝大小。34.2 G 三个副本总大小。查询速度:三者几乎一致。
2023-03-28 10:03:51 1208
原创 Cent OS 64bit 下配置Hadoop 64bit + spark图解
一、 安装JDK [选择jdk1.7为佳](1)(a)自动下载安装(b)下载之后解压安装 # tar –xvf/home/root/spark1/jdk-8u45-linux-x64.tar.gz –C /home/root/spark1#mv/home/root/spark1/jdk1.8.0 /usr/local/lee/jdk1
2015-08-28 15:17:26 571
转载 64位CentOS上编译 Hadoop 2.2.0
转 64位CentOS上编译 Hadoop 2.2.0分类: hadoop2014-06-06 18:44 1929人阅读 评论(0) 收藏 举报目录(?)[+]下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后,总是出现这种警告:WARN util.NativeCodeLoader: Unabl
2014-11-07 10:58:24 318
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人