实时数仓搭建
文章平均质量分 55
paulgeorge9527
泡椒:代码+篮球=人生
展开
-
flink cdc 2.2.1 mysql connector
flinkcdc原创 2022-10-27 10:36:35 · 1001 阅读 · 0 评论 -
基于Ambari2.7.4集群搭建详解
集群安装部署一、 Ambari安装准备工作版本:Ambari2.7.4+HDP3.1.4是最后一个免费版本,新版本需要授权。集群规划192.168.18.124 master 主节点192.168.18.125 node1 从节点192.168.18.126 de2 从节点1.关闭防火墙暂停防火墙服务systemctl stop firewalld.service设置防火墙服务开机不自启systemctl disable firewalld.service查看防火墙原创 2021-08-27 11:31:51 · 810 阅读 · 0 评论 -
hive3.1.2 flink写数据到hive报错Reading or writing ACID table.....
hdp3.1 hive 3.0的使用记录近来在做项目中的技术调研,使用最新版的hdp3.1,其中使用spark2.3和hive 3.1.遇到 一些问题,记录如下:一,使用spark-sql client driver去访问hive创建的数据库,发现找不到,使用presto访问hive,只能读写外部表。经过查询资料了解到,hive3.1默认对内部表支持事务和ACID特性,spark等外部工具无法直接读取ACID的表数据,spark新版本正在跟进,但spark-sql本身也在和hive分离,走自己的.原创 2021-08-11 15:44:48 · 960 阅读 · 1 评论 -
you can disable this check with the configuration ‘classloader.check-leaked-classloader‘
Exception in thread “Thread-3” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library an原创 2021-08-11 10:36:19 · 4405 阅读 · 5 评论 -
state=08S01,code=0
Error: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.18.24:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*<原创 2021-08-10 14:09:28 · 1468 阅读 · 0 评论