目的
在Idea中的点击运行,使spark可以直接读取snappy
自己编译hadoop,以支持snappy的压缩。
自己编译的目的就是要得到支持snappy文件读写的动态链接库。如果可以在网上下载,可以跳过自行编译
如何编译参考:https://my.oschina.net/u/1396185/blog/1860336
idea中添加本地动态链接库
光标选择项目直接快捷键
ctrl + alt + shift + s 调出项目结构界面
选择编译hadoop后自己动态链接库所放的目录
配置好后,就可以像读取文本文件一样读取snappy文件了