场景还原:
因项目需要到数据清洗,在做知识储备(实则心里慌的一批,小白一枚,结果负责整个项目),涉及到LZO压缩,看到百度上的CDH安装实在太复杂,结果查看官方文档几句话就解决了~(lll¬ω¬)
操作步骤:
CDH官方文档----LZO
:文档操作之前要知道在CDH下的LZO 是什么样的,官方是这样说的:GPL Extras contains functionality for compressing data using the LZO compression algorithm.(
GPL Extras包含使用LZO压缩算法压缩数据的功能。
),也就是说在CDH中,我们需要安装GPL Extras
。方法如下:
注意红框的位置,我的CDH版本是6.2.1,所以
使用第一个红框的链接
,第二个红框:Replace x.y with the minor and maintenance version (for example, 5.14.1 or 6.2.1). If you are using LZO with Impala, make sure that you match the GPL Extras parcel version to the CDH version.(将 x.y 替换为次要版本和维护版本(例如,5.14.1或6.2.1)。如果你使用 Impala 的 LZO,确保你匹配 GPL Extras 包裹版本的 CDH 版本。
)所以我的替代parcels:https://archive.cloudera.com/gplextras6/
6.2.1
/parcels/
具体操作:
1、打开主机如下图
2、添加链接
3、
下载 分配 激活 全套服务
总结
多思考,多学习,
VX:WL1179952622,加我入群纯聊技术,有时也吐槽。。。O(∩_∩)O
CDH环境下给HDFS,Sqoop,HIVE配置LZO