这个问题搞了一周,spark读取hive数据插入phoenix
总共4.5g的数据
最开始是版本问题,和cdh上的版本不一致
代码本地执行没问题,上传集群各种错误,
最后更改 /etc/spark2/conf/classpath.txt 文件 和 /etc/spark2/conf/spark-evn.sh 文件。让其加载classpath.txt文件。
之后
spark write到phoenix 时 ,出现 写数据速度大于索引更新速度
然后任务就挂了
最后
hbase加以下参数 执行成功
phoenix.index.failure.block.write=true