![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 57
99滴神
希望与大家共同进步!加油!
展开
-
flume采集出现com.alibaba.fastjson.JSONException: syntax error, pos 1, line 1, column 2��-�
采集后数据后,投递到hdfs上时出现以下错误:2021-05-26 11:44:44,103 (pool-5-thread-1) [ERROR - org.apache.flume.source.SpoolDirectory Source$SpoolDirectoryRunnable.run(SpoolDirect...原创 2021-05-26 14:12:04 · 4283 阅读 · 0 评论 -
Sqoop -error- ERROR tool.ImportTool: Import failed: java.io.IOException: No columns t generate for C
利用sqoop从mysql导入hive报错如下:21/05/17 21:54:07 ERROR tool.ImportTool: Import failed: java.io.IOException: No columns t generate for ClassWriter at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1677) at org.apache.sqoop.tool.CodeG...原创 2021-05-17 21:59:35 · 939 阅读 · 0 评论 -
Sqoop -error1- ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
说明:在使用sqoop工具从mysql将数据导入hive中出现以下错误:21/05/13 17:39:19 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.21/05/13 17:39:19 ERROR tool.ImportTool: Import failed: java.io.IOException: ja.原创 2021-05-13 18:08:12 · 842 阅读 · 0 评论 -
DataX -error1- ERROR RetryUtil - Exception when calling callable, 异常Msg:DataX无法连接对应的数据库,可能原因是:1) 配置
说明:使用本机的mysql数据库,将mysql数据库的表的数据 导入 hdfs 中配置好同步文件后出现以下错误:2021-05-12 22:13:22.968 [job-0] WARN DBUtil - test connection of [jdbc:mysql://10.9.68.211:3306/testdb] failed, for Code:[DBUtilErrorCode-10], Description:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或.原创 2021-05-12 22:23:23 · 5098 阅读 · 2 评论 -
Flume -error2- 启动flume出现错误:org.jboss.netty.channel.ChannelException: Failed to bind to: 0.0.0.0
执行以下命令启动flume出现错误:flume-ng agent -n a1 -c conf -f ${FLUME_HOME}/flumeconf/replicating-test.conf -Dflume.root.logger=INFO,console错误如下:21/05/11 08:58:21 ERROR lifecycle.LifecycleSupervisor: Unable to start EventDrivenSourceRunner: { source:org.ap.原创 2021-05-11 09:27:27 · 2686 阅读 · 0 评论 -
Flume -总结1- 启动flume的参数说明
启动命令[root@qianfeng01 ~]# flume-ng agent -n a1 -c conf -f ${FLUME_HOME}/flumeconf/syslog-m-log.conf -Dflume.root.logger=INFO,console启动命令由4部分组成:-n $agent_name:这里指定启动的agent 名,按照配置文件中的命名这里应该替换成a1-c conf: 指定配置文件目录,可以是相对路径或绝对路径-f ${FLUME_HOME}/flume.原创 2021-05-10 22:38:51 · 893 阅读 · 0 评论