hadoop
艾斯卡达尔
这个作者很懒,什么都没留下…
展开
-
阿里EMR的elasticsearch版本冲突
记录一次在阿里EMR的踩的坑因为有个需求需要将数据写入到es,采用的方式是通过spark将dataframe写入es进行upsert操作。使用的版本是 Spark-2.4.3 ElasticSearch-7.4.0打好包后上传值服务器,调试运行。代码太多,度娘一搜便是。使用local模式调试,尽然出现了问题。好样的,肯定是版本冲突了。开始查原因,我知道EMR在 /opt/apps/extra_jars/目录下配置几个额外的包,其中包含了es-hadoop-6.3.2的,但我提交但时候并没原创 2020-06-18 11:30:12 · 307 阅读 · 0 评论 -
使用hadoop的压缩方式进行压缩和解压
压缩算法及其编码/解码器压缩格式对应的编码/解码器DEFLATEorg.apache.hadoop.io.compress.DefaultCodecgziporg.apache.hadoop.io.compress.GzipCodecbziporg.apache.hadoop.io.compress.BZip2CodecSnappyorg.a...原创 2019-05-23 14:53:04 · 466 阅读 · 0 评论