![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
艾斯卡达尔
这个作者很懒,什么都没留下…
展开
-
阿里EMR的elasticsearch版本冲突
记录一次在阿里EMR的踩的坑 因为有个需求需要将数据写入到es,采用的方式是通过spark将dataframe写入es进行upsert操作。 使用的版本是 Spark-2.4.3 ElasticSearch-7.4.0 打好包后上传值服务器,调试运行。 代码太多,度娘一搜便是。 使用local模式调试,尽然出现了问题。 好样的,肯定是版本冲突了。 开始查原因,我知道EMR在 /opt/apps/extra_jars/目录下配置几个额外的包,其中包含了es-hadoop-6.3.2的,但我提交但时候并没原创 2020-06-18 11:30:12 · 310 阅读 · 0 评论 -
使用hadoop的压缩方式进行压缩和解压
压缩算法及其编码/解码器 压缩格式 对应的编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip org.apache.hadoop.io.compress.BZip2Codec Snappy org.a...原创 2019-05-23 14:53:04 · 467 阅读 · 0 评论