qq_42437926的博客

然后再对应的yarn nodemanager 节点的yarn-site配置参数。然后将spark目录下的找到目录yarn 将jar包移动到Hadoop目录的。问题描述 提交任务后在页面现实一直运行无法结束，查询异常报错。在history-server 中的conf配置是。

我的hive上没有任何hadoo节点，所以在把hadoop的几个配置文件复制到conf目录后，我依旧修改了hive-env.sh在最下面加入了。（只需要修改nodemanager 和 resourcemanager 节点配置）分别在其中添加配置 注意-Xmx1024m 可以不用，我会在配置文件中展示。查询时候没有问题，但是在插入数据走mr时候hive无法插入报错。重启resourcemanager和nodemanager即可。注意这里的参数是hive使用的全部，有可能有多余的。

ItemCannotBeInsertedIntoTheVectorSpaceException错误

报错信息 MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. Specify the right server-time-zone to avoid inconsistencies for time-related fields.接下来就可以正常链接了。

1，使用.debeziumProperties对cdc解析的底层框架decimal.handling.mode属性设置为string即可。是在读取mysql的数据时候会在底层进行转换成byte数组来传递，但是decimal并没有转换回去，所以在输出时候是AA==这些。再点击configure方法进入设置map属性的位置可以看到 JsonConverterConfig。两种方式都可以对decimal类型进行正常转换，建议使用第二种。这里就可以看到了对decimal的format。

问题原因是kafka版本过低再项目中导入kafka-client包。

datahub开发maxcompute dataworks数据源

docker部署doris

flink-doris- connection jar包打包使用

datahub脚本修改

docker文章笔记记录。

由于datahub是python代码，所有在修改后更换源码查看情况和Java开发起来相差巨大，本文主要介绍怎么使用datahub关联pip源码进行开发。

启动脚本可以按照官网来也可直接到源码中找到对应的docker路径下的yml文件进行启动。血缘的写法其实是python脚本最好（yml在测试中还问题，以后补充）本文的datahub不是阿里的数据工具是元数据datahub。.........

国内maven仓库大部分使用的是阿里仓，这时候有许多jar包是maven官方发布但是本地阿里没有的，这时候就很麻烦其实只需要到官方下载。

内置hbase和solr启动

因为在之前版本的es并不支持bigdecimal处理方式1全局禁止bigdecimal2,局部禁止

centos系统安装mysql开启远程连接后，其他主机远程连接mysql报错主要是本机上未安装mysql客户端https://dev.mysql.com/downloads/mysql/下载对应mysql客户端点击安装这时候就可以进行远程连接另外一台主机的mysql...

spring boot gc日志打印记录

最近在使用flink application 模式进行参数传递,flink正常提供的参数可以使用-D进行传递官方地址flink配置选项./bin/flink run-application -t yarn-application \-c com.atta.xt.task.FlinkMappingField \-Djobmanager.memory.process.size=2048m \-Dtaskmanager.memory.process.size=3072m \-Dtaskmanage

状态编程通常使用几种基础类型即可，但是特殊情况我们可能出现ValueState<Tuple<String>> #TUPLE类型代码记录 使用map作为两种的显示，大家可以一眼看出 private MapState<Long, Tuple5<String, String, String, Long, Long>> mapState; private MapState<Long, Long> timeStateMap;