![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
support日常
遛猫达人
乐于犯错
只做简单的事
展开
-
执行hive的insert into语句报错org.codehaus.jackson.JsonParseException: Unexpected end-of-input: was expectin
问题如题,详细报错如下Caused by: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException Encountered exception determining schema. Returning signal schema to indicate problem: org.codehaus.jackson.JsonParseException: Unexpected原创 2020-11-11 15:01:29 · 1513 阅读 · 0 评论 -
kettle官方使用文档地址
工作中很多同事或者客户对公司自己制作的kettle使用文档很不满意,觉得不是太简陋,就是缺了很多步骤,于是常常来问我怎么用这些步骤。为了节约时间,我直接把官网的wiki地址贴出来吧,里面转换,作业步骤的说明都有,还有很多其他资料。所有资料的目录:https://wiki.pentaho.com/collector/pages.action?key=EAI转换步骤说明文档:https://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+St原创 2020-10-23 21:39:57 · 3071 阅读 · 0 评论 -
linux启动kettle报错 java.lang.UnsatisfiedLinkError: Could not load SWT library
启动环境为linux的centos6.8,cpu架构为x86_64.Exception in thread "main" java.lang.UnsatisfiedLinkError: Could not load SWT library. Reasons: no swt-pi-gtk-3659 in java.library.path no swt-pi-gtk in java.library.path /tmp/swtlib-64/libswt-pi-gtk-3659.so: li原创 2020-10-23 21:14:49 · 5253 阅读 · 1 评论 -
linux服务器启动失败问题处理过程简单记录
linux服务器启动失败问题处理过程简单记录最近碰到一次华为云服务器启动不了的异常,简单记录一下解决办法如下:1,把云硬盘卸载下来挂载到另一台测试服务器上;2,执行fdisk -l显示新的未挂载的盘;3,mount物理分区和新建的目录;4,当挂载系统盘时报错,提示不支持挂载这个类型;5,pvdisplay显示物理层,结果显示了6个物理层,并且卷组名都是一样的6,vgs显示分卷组,获取卷组uuid7,执行vgrename命令通过uuid修改卷组名8,把改名后的物理层挂载到新建的目录,就可以看原创 2020-07-26 00:08:35 · 1024 阅读 · 0 评论 -
invalid byte sequence for encoding "UTF8":0x00
现场环境抽取oracle往mpp里写数据时,报如标题的错误。原因:可能是c++应用把字符串的结尾字符\0也一起写到数据库了,导致同步时这个字符写不进去,这个是pg的bug。解决方案:截断\0字符前的字符串,后面的丢弃,只能这么办了。 String value = "";//获取值 if(null != value && value.indexOf('\0') >= 0) { value = value.substring(0,value.indexOf('\原创 2020-05-13 11:02:12 · 1535 阅读 · 0 评论 -
java.lang.ClassNotFoundException: org.apache.hive.service.cli.thrift.TCLIService$Iface
今天编译安装了kettle8.3.10-R版本,然后连上公司的hadoop环境,测试hive2连接时报错:错误连接数据库 [hive_hdp] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the databaseError connecting to database: (using class org.apache.hive.jdbc.HiveD原创 2020-05-09 11:14:18 · 4895 阅读 · 0 评论 -
kafka设置从指定偏移量读取数据失效
今天公司etl组件kafkaoutput从指定偏移量读取数据失效,还是从最新的偏移量开始读取数据,检测发现是因为auto.offset.reset属性在作怪,这个属性默认是latest,说明如下: 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下(因消费者长时间失效,包含偏移量的记录已经过时并被删除)该作何处理。它的默认值是latest,意思是说,在偏移量无效的情况下,消...原创 2020-04-27 16:13:46 · 1408 阅读 · 0 评论 -
Connection timed out: no futher infomation
问题 客户现场使用公司的kettle工具往hadoop写数据时报错:Connection timed out: no futher infomation报错截图原因分析 使用debug模式运行,后台日志中打印了将数据写入hadoop操作系统时,目标DataNode的ip(这个ip是通过hadoop客户端api访问NameNode得到)。但是这个ip并不能访问通,因为hadoop客户...原创 2020-03-06 10:12:27 · 1110 阅读 · 0 评论 -
could not initialize org.apache.hadoop.hive.ql.parse.StorageFormat
客户现场安装好kettle,配置好集群,测试集群通过后,使用hive组件执行建表sql时报错(也不能向hive表中插入数据):java.lang.NoClassDefFoundError: could not initialize org.apache.hadoop.hive.ql.parse.StorageFormat 看了下源代码一脸懵逼啊,不知道为什么初始化失败。这个错误...原创 2019-12-24 13:06:44 · 963 阅读 · 0 评论 -
kafka接收不到数据
kafka接收不到数据一直都没有写博客,老是索取,没有回报,从今天开始记录每天碰到的问题。原创 2019-12-21 12:10:15 · 1996 阅读 · 0 评论