- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 FlinkYarn报错ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Seriali
删除Flink的lib目录jar包：mv flink-sql-connector-kafka_2.11-1.11.1.jar flink-sql-connector-kafka_2.11-1.11.1.jar.drop问题解决。
2021-07-22 12:41:14
497
3
原创 Flink Yarn-Session模式写入hbase报错NoClassDefFoundError: org/apache/htrace/Trace的解决(基于CDH6.3)
版本:Flink1.11.1CDH:6.3.2Htrace版本解决方法：所有节点执行：cp /opt/cloudera/parcels/CDH/jars/htrace-core* /opt/cloudera/parcels/CDH/lib/hbase/lib/
2021-06-08 10:51:01
358
原创 CDH6.3.2 安装 AIRFLOW1.10（亲测可用）
CDH6.3.2 安装 airflow1.10一、环境1、CENTOS7.62、REDIS3、AIRFLOW PARCEL二、支持的版本Airflow 1.9.0 Airflow 1.10.3三、支持的系统1、CENTOS/RHEL 6 & 72、DEBIAN 83、UBUNTU 14.04, 16.04, & 18.04四、安装CSD1、下载JAR文件 ，AIRFLOW CSD文件下载地址Airflow csd2、 将AIRFLOW.
2021-03-15 16:58:35
534
原创 Hive On Spark报错Caused by: java.lang.ClassNotFoundException: scala.collection.Iterable
执行以下命令即可：echo "export HIVE_SKIP_SPARK_ASSEMBLY=false;" >> /etc/profilesource /etc/profile
2018-12-14 15:39:55
3470
4
原创 Spark用法：关于写入Mysql表Append Mode数据被清空的解决办法
前提：小编自己的环境是（CDH）Spark2.2.0 Scala2.11.8起因：当使用Append追加写入mysql类型的数据库，spark默认是把之前存在的数据清空，然后再写入数据；这让我们很无语，明明是Append，你却给我overwrite解决：修改源码，重写两个类（只要把这两个类放到自己项目中，无需修改spark底层源码）1.JdbcUtils原本是：if (mode...
2018-10-25 10:42:03
2374
空空如也
spark的DataFrame forEach导致的OOM问题
2017-10-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人