- 博客(6)
- 收藏
- 关注
RSS订阅原创 spark解决Illegal pattern component: XXX NoSuchFieldError: KRYO_SARG_BUFFER
spark读取csv、orc等文件异常1 异常现象 spark读取csv、orc等文件出现解析异常 java.lang.IllegalArgumentException: Illegal pattern component: XXXjava.lang.NoSuchFieldError: KRYO_SARG_BUFFER1.1 读取csv文件异常内容如下：Exception in thread "main" java.lang.IllegalArgumentException: Illegal
2021-07-10 18:05:23
712
2
原创 hive-udf Description描述信息乱码问题
hive udf Description信息中文乱码解决过程注：此现象仅针对hive 2.3.5版本，其他版本请自行参考1、生产现象 自定义udf上线，查看其udf描述信息时，中文内容乱码。使用其方法时，中文可正常显示。描述信息乱码截图：udf查询内容中文正常显示2、问题排查2.1、jar包打包未指定udf-8编码？ 默认 就是udf-8了2.2、jar包加载的时候未指定file.encoding编码? 排查加载环境及系统环境编码2.2.1 方法一:直接查看该类描述字段信息
2021-06-06 19:33:15
873
1
原创 kafka哪些情况会导致数据丢失
producer生产端如何保证ack确认机制acks=0 表示生产者将只要信息发送，就认为发送成功了。即服务器未接收到该消息也会认为是成功。acks=1(默认) 生产者发送消息，只要分区leader写入成功，即返回发送成功的信息。当leader挂掉，其他副本未来得及同步的数据会丢失。acks=-1(或all) 生产者发送信息，该topic所有ISR中的副本[注:此副本数是会变化的]都写入成功，才返回发送成功的信息。retries配置kafka错误分为可恢复与不可恢复两种情况。可恢复
2021-03-18 23:26:50
850
原创 clickhouse安装文档
clickhouse安装文档本文安装信息主要参考clickhouse官方：https://clickhouse.tech/docs/en/getting-started/install/文件下载并初始化下载文件方法一：此方法获取的是最新版本export LATEST_VERSION=`curl https://api.github.com/repos/ClickHouse/ClickHouse/tags 2>/dev/null | grep -Eo '[0-9]+\.[0-9]+\.[0-9
2021-03-17 18:26:09
635
原创 数据迁移方案对比
数据迁移方案对比方案列表迁移方案实时性优点缺点同步方式常用场景使用方式使用难度Flume准实时支持分布式集群部署2、支持场景多样3、数据源形式多样4、支持自定义开发，易扩展配置繁琐增量1.文件/文件夹采集 2.端口采集等1、编写配置文件，启动程序即可。 官方文档：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html一般Kettle离线1、支持数据源种类多 2、独立部署
2021-03-16 11:15:36
506
原创 线上http协议访问异常
线上采集服务访问异常--http无法正常访问&http协议拦截现象现场排查处理结果现象原生产环境采集服务正常使用，因搬迁机房，搬迁后采集服务一直无数据推送，致使程序无相关数据展示，其他服务正常。现场排查针对采集服务排查情况如下：查看服务日志，发现后台服务疯狂打印错误日志；查看该程序启动情况，发现启动了两个相同的进程；将两个进程杀掉，然后重新只启动一个采集程序，采看日志依然报错；更换程序端口，在服务器上使用curl进行模拟请求，发现日志正常，程序也是正常，可正常采集推送数据，恢复程
2021-03-16 09:49:22
932
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人