1
)创建
LZO
文件的索引,
LZO
压缩文件的可切片特性依赖于其索引,故我们需要手动为
LZO
压缩文件创建索引。若无索引,则
LZO
文件的切片只有一个。
![](https://i-blog.csdnimg.cn/blog_migrate/1008e7e597c8d77665b57be693dc5ba1.png)
2
)测试
(
1
)将
bigtable.lzo
(
200M
)上传到集群的根目录
![](https://i-blog.csdnimg.cn/blog_migrate/eb77c1a7f4d47c75a865efa1dede7254.png)
(
2
)执行
wordcount
程序
![](https://i-blog.csdnimg.cn/blog_migrate/1c0b42f140525719897d8de63e86a65b.png)
(
3
)对上传的
LZO
文件建索引
![](https://i-blog.csdnimg.cn/blog_migrate/894a1b5bb8fa7c1bdf63e0a89aa3a229.png)
![](https://i-blog.csdnimg.cn/blog_migrate/78b4e7b294f853f2bdfa10425b6fd52b.png)
(4)
注意:如果以上任务,在运行过程中报如下异常
![](https://i-blog.csdnimg.cn/blog_migrate/e74a2ffd957a75d1e9a311017f686744.png)
解决办法:在
hadoop102
的
/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
文件中增加
如下配置,然后分发到
hadoop103
、
hadoop104
服务器上,并重新启动集群。
![](https://i-blog.csdnimg.cn/blog_migrate/1dec6849f88d98677468ba8e87c4ac55.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39a1d8f6c1fd834a77b31b19ec6fac3a.png)