flume读取json格式的log文件写入hive表，趟坑记录

最新推荐文章于 2023-12-04 09:59:29 发布
最新推荐文章于 2023-12-04 09:59:29 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： hive flume 文章标签： flume读log写hive表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hello_java_lcl/article/details/109472853
版权
本文记录了使用Flume从JSON格式的日志文件读取并写入Hive表时遇到的问题及解决方案。主要内容包括：创建Hive桶表，注意Flume默认行长度限制为2048可能导致数据截取，测试时清除历史数据，以及Flume配置中调整deserializer.maxLineLength参数防止日志行被截断导致的JSON解析异常。
摘要由CSDN通过智能技术生成

flume 读取log日志文件，写hive表

注意：

hive创建桶表；

flume读取文件，按行读取，默认行最大值为2048个长度，过长会截取。

测试阶段，注意删除写入文件目录(spoolDir)、checkpoint目录、写入的hive表记录，避免历史数据对结果的影响；

 

 

如果不是桶表：异常报错如下

Unexpected end-of-input in VALUE_STRING

 

由于要处理的log日志每条记录是以json形式存储，然后Agent.sink.hive.serializer = JSON 解析json，写入hive表。最开始找到的报错信息是

json解析异常：

[DEBUG - org.apache.hive.hcatalog.data.JsonSerDe.deserialize(JsonSerDe.java:178)] 
org.codehaus.jackson.JsonParseException: 

Unrecognized token 'nWsj1W3Zzy': was expecting 'nu

最低0.47元/天 解锁文章
lcl_bigdata
关注
专栏目录
Flume采集json和csv文件数据到tidb
JustinMars的博客
10-20 544
采集csv和json数据
使用hive来分析flume收集的json日志数据
xiaozhaoshigedasb的博客
12-28 1939
http://www.aboutyun.com/thread-12040-1-1.html
二百一十、Hive——Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺
最新发布
tiantang2renjian的博客
12-04 1576
Flume采集的JSON数据文件写入Hive的ODS层表后字段的数据残缺
flume篇3：flume把json数据写入carbondata(flume-carbondata-sink)
qq_38740498的博客
12-10 382
flume篇3：flume把json数据写入carbondata(flume-carbondata-sink) 对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个以 ,分隔的string，然后send出去，这样也是ok的 废话不多说，直接上干货 一、 自定义拦截器： 1 拦截器要求：新建一个新的工程，单独打包，保证每个flume的的拦截器都是单独的一个工程打的包，这样保证每次对拦...
Flume1.8 抽取Mysql或Oracle数据转成JSON格式
ytp552200ytp的博客
05-28 435
Flume1.8 抽取Mysql或Oracle数据转成JSON格式
flume实时数据解析
weixin_42133437的博客
06-04 690
flume开发 作用 ■ 实时解析处理传送过来的数据 ■ FTP文件备份 ■ FTP异常文件备份（查错和重跑使用） ■ 数据清洗(拦截器) ■ 数据标签生成 ■ 异常数据处理 方便检测每天错误数据量。 错误数据表里面去 ■ 推送清洗数据到kafka 流程 测试文件备份 import org.apache.commons.io.FileUtils; import java.io.File; import java.util.List; import static java.io.File.separator
Flume解析和应用
10-24
Flumen的介绍，和他的详细解释和使用规则。有对Sources、channel、Sink的操作和解释
Flume读取数据写入Hive、Mysql
zp17834994071的博客
08-18 2139
关于flume的简介以及应用在前面已经给大家详细的讲解过，今天主要就如何把flume抓取的数据写入到其它地方。 由于时间关系在这里还是使用伪数据和前面所说的一样，主要是配置flume，先说下把读取的数据写入到Hive中。 读取数据写入Hive 先创建hive表，数据库名就叫test吧， create table tests ( id int , msg string ) partitioned by (continent string, country string, time string)
Flume读取kafka的JSON数据到hdfs，提示OOM
xiaochengxiaohceng的博客
08-19 525
加入从JAVA_OPTS中修改为大内存后不起作用，可以在命令行中添加-Xmx10240m
json-serde-1.3.7-jar-with-dependencies.jar
10-20
hive解析json数据依赖jar包，下载jar包后，直接放到对应路径，在建表语句中加入org.openx.data.jsonserde.JsonSerDe即可使用。
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
JM1307hhh的博客
06-15 1318
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
log file save to hive table using flume
weixin_46546516的博客
10-24 579
xxx
flume高并发优化——（11）排除json转换及中文乱码
ESOO
08-19 5450
在使用flume收集数据，转换为json格式时，常常遇到特殊符号的问题，而json对于”引号，是非常敏感的，大家处理json数据的时候，要特别注意，在前不久，向es插入数据时，报错就是json转换失败原因：       json通用格式：        {"key":"value"}       {"key":{}}       {"key":[]}       ["one","two"]
Hive建表指定JsonSerde：解析Json格式日志文件
AriesLY0411的博客
05-19 1144
数据准备 {"student":{"name":"xiaowang","age":11,"sex":"M"},"class":{"book":"语文","level":2,"score":81},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"xiaoming","age":12,"sex":"M"},"class":{"book":"语文","level":2,"score":82},"teacher":{"name":"t2","c
flume学习（六）：使用hive来分析flume收集的日志数据
wang_zhenwei的博客
09-30 1365
1.遇到无法转换成JSON对象的字符串时应如何处理？ 2.遇到非JSON格式输入的时候应如何处理？ 前面已经讲过如何将log4j的日志输出到指定的hdfs目录，我们前面的指定目录为/flume/events。 如果想用hive来分析采集来的日志，我们可以将/flume/events下面的日志数据都load到hive中的表当中去。 如果了解hive的load
Flume 数据采集
liuwei0376的专栏
07-12 3738
（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容 （3）修改脚本执行权限[bigdata_admin@hadoop102 bin]$ chmod 777 xcall.sh（4）启动脚本[bigdata_admin@hadoop102 bin]$ xcall.sh jps1）安装步骤略2）项目经验（1）项目经验之HDFS存储多目录虚拟机的项目不需要配置，我们只
Unexpected end of input解决方法
热门推荐
hl18730262380的博客
10-12 20万+
Unexpected end of input 可以翻译为 “意外的终止输入” 它通常表示浏览器在读取我们的javascript代码时，碰到了不可预知的错误，导致浏览器无法进行下面的解析 一般**“ ”（双引号）， ‘ ’（单引号） ，{}，[]**未成对输入时会出现这样的错误 ...
Uncaught SyntaxError: Unexpected end of input
丑小鸭变黑天鹅的博客
08-26 1万+
Uncaught SyntaxError: Unexpected end of input 最近做项目遇到这样一个问题Uncaught SyntaxError: Unexpected end of input Unexpected end of input 可以翻译为 “意外的终止输入” 它通常表示浏览器在读取我们的javascript代码时，碰到了不可预知的错误，导致浏览器无法进行下面的解析 遇到这样的问题，首先应该检查下面这些情况，我就是因为少写了一个括号导致出错 一般“ ”（双引号）， ‘ ’（单引
flume读取kafka的topic数据写入HDFS的agent
04-14
这是一个技术问题，我可以回答。Flume是一个开源的分布式日志收集、聚合和传输系统，可...在这种情况下，Flume可以作为一个agent将Kafka的数据写入HDFS，具体实现可通过配置Flume的source为Kafka、sink为HDFS来完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值