大数据
文章平均质量分 62
分享使你们快乐Hasaki
spark hadoop python
展开
-
Flink Yarn-Session模式写入hbase报错NoClassDefFoundError: org/apache/htrace/Trace的解决(基于CDH6.3)
版本:Flink1.11.1CDH:6.3.2Htrace版本解决方法:所有节点执行:cp /opt/cloudera/parcels/CDH/jars/htrace-core* /opt/cloudera/parcels/CDH/lib/hbase/lib/原创 2021-06-08 10:51:01 · 364 阅读 · 0 评论 -
CDH6.3.2 安装 AIRFLOW1.10(亲测可用)
CDH6.3.2 安装 airflow1.10一、环境1、CENTOS7.62、REDIS3、AIRFLOW PARCEL二、支持的版本Airflow 1.9.0 Airflow 1.10.3三、支持的系统1、CENTOS/RHEL 6 & 72、DEBIAN 83、UBUNTU 14.04, 16.04, & 18.04四、安装CSD1、下载JAR文件 ,AIRFLOW CSD文件下载地址Airflow csd2、 将AIRFLOW.原创 2021-03-15 16:58:35 · 535 阅读 · 0 评论 -
Spark用法:关于写入Mysql表Append Mode数据被清空的解决办法
前提:小编自己的环境是(CDH)Spark2.2.0 Scala2.11.8起因:当使用Append追加写入mysql类型的数据库,spark默认是把之前存在的数据清空,然后再写入数据;这让我们很无语,明明是Append,你却给我overwrite解决:修改源码,重写两个类(只要把这两个类放到自己项目中,无需修改spark底层源码)1.JdbcUtils原本是:if (mode...原创 2018-10-25 10:42:03 · 2380 阅读 · 0 评论 -
Hive On Spark报错Caused by: java.lang.ClassNotFoundException: scala.collection.Iterable
执行以下命令即可:echo "export HIVE_SKIP_SPARK_ASSEMBLY=false;" >> /etc/profilesource /etc/profile原创 2018-12-14 15:39:55 · 3480 阅读 · 4 评论