hive处理自定义数据结构日志

最新推荐文章于 2022-07-03 16:38:19 发布
最新推荐文章于 2022-07-03 16:38:19 发布
阅读量179 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiandequn/article/details/104501161
版权

1、分析日志结构，想得到“Collection events:”后各个参数的值

2019-08-26 08:42:39.472 INFO [resin-port-9001-42][ContentOperationController.java:90] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=40;nowSpm=38.PAGE_YNGDJSJ.0.0.1566780159472;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:42:39:END
2019-08-26 08:45:28.222 INFO [resin-port-9001-42][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=40;nowSpm=38.PAGE_RECOMMEND.40.0.1566780328220;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:28:END
2019-08-26 08:45:50.822 INFO [resin-port-9001-42][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=41;nowSpm=38.PAGE_SERIES.41.0.1566780350821;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:50:END
2019-08-26 08:46:00.203 INFO [resin-port-9001-41][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=43;nowSpm=38.PAGE_CHILDREN.43.0.1566780360201;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:46:00:END
2019-08-26 08:45:54.427 INFO [resin-port-9001-41][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=43;nowSpm=38.PAGE_CHILDREN.43.0.1566780354425;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:54:END
2019-08-26 08:46:07.205 INFO [resin-port-9001-43][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=47;nowSpm=38.PAGE_HEALTHY.47.0.1566780367204;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:46:07:END
2019-08-26 08:46:11.407 INFO [resin-port-9001-43][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=44;nowSpm=38.PAGE_COMIC.44.0.1566780371406;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:46:11:END
2019-08-26 08:45:09.355 INFO [resin-port-9001-43][ContentOperationController.java:90] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=40;nowSpm=38.PAGE_YNGDJSJ.0.0.1566780309355;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:09:END
2019-08-26 08:45:52.431 INFO [resin-port-9001-43][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=42;nowSpm=38.PAGE_MOVIE.42.0.1566780352430;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:52:END
2019-08-26 08:46:01.853 INFO [resin-port-9001-42][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=45;nowSpm=38.PAGE_VARIETY.45.0.1566780361852;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:46:01:END
2019-08-26 08:45:26.093 INFO [resin-port-9001-43][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=41;nowSpm=38.PAGE_SERIES.41.0.1566780326091;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:26:END
2019-08-26 08:45:57.995 INFO [resin-port-9001-43][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=44;nowSpm=38.PAGE_COMIC.44.0.1566780357993;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:45:57:END
2019-08-26 08:46:05.055 INFO [resin-port-9001-43][ContentOperationController.java:164] - Collection events:eventsType=operationPage;mac=A089E41D06A0;sn=12042140205760A089E41D06A0;userId=9518971;userType=vod;parentColumnId=38;columnId=46;nowSpm=38.PAGE_RECORD.46.0.1566780365053;afterSpm=0;pos=POS_RECOMMEND_BIT;posName=推荐位;createTime=2019-08-26 08:46:05:END

2、创建hive表结构

CREATE TABLE logs
(
 eventsType STRING,
 mac STRING,
 sn STRING,
 userId STRING,
 userType STRING,
 parentColumnId STRING,
 columnId STRING,
 nowSpm STRING,
 afterSpm STRING,
 pos STRING,
 posName STRING,
 createTime STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "^.*eventsType=(.*);mac=(.*);sn=(.*);userId=(.*);userType=(.*);parentColumnId=(.*);columnId=(.*);nowSpm=(.*);afterSpm=(.*);pos=(.*);posName=(.*);createTime=(.*):END",
"output.format.string" = "%1$s %2$s %3$s $4$s %5$s %6$s %7$s $8$s %9$s %10$s %11$s $12$s"
);

3、hive运行结果如下

hive> CREATE TABLE logs
    > (
    >  eventsType STRING,
    >  mac STRING,
    >  sn STRING,
    >  userId STRING,
    >  userType STRING,
    >  parentColumnId STRING,
    >  columnId STRING,
    >  nowSpm STRING,
    >  afterSpm STRING,
    >  pos STRING,
    >  posName STRING,
    >  createTime STRING
    > )
    > ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
    > WITH SERDEPROPERTIES (
    > "input.regex" = "^.*eventsType=(.*);mac=(.*);sn=(.*);userId=(.*);userType=(.*);parentColumnId=(.*);columnId=(.*);nowSpm=(.*);afterSpm=(.*);pos=(.*);posName=(.*);createTime=(.*):END",
    > "output.format.string" = "%1$s %2$s %3$s $4$s %5$s %6$s %7$s $8$s %9$s %10$s %11$s $12$s"
    > );
OK
Time taken: 0.075 seconds
hive> 
    > load data local inpath '/usr/local/hive-3.1.2/bin/hadoop.log' into table logs;
Loading data to table default.logs
OK
Time taken: 0.243 seconds
hive> select * from logs;
OK
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	40	38.PAGE_YNGDJSJ.0.0.1566780159472	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:42:39
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	40	38.PAGE_RECOMMEND.40.0.1566780328220	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:28
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	41	38.PAGE_SERIES.41.0.1566780350821	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:50
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	43	38.PAGE_CHILDREN.43.0.1566780360201	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:46:00
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	43	38.PAGE_CHILDREN.43.0.1566780354425	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:54
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	47	38.PAGE_HEALTHY.47.0.1566780367204	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:46:07
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	44	38.PAGE_COMIC.44.0.1566780371406	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:46:11
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	40	38.PAGE_YNGDJSJ.0.0.1566780309355	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:09
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	42	38.PAGE_MOVIE.42.0.1566780352430	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:52
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	45	38.PAGE_VARIETY.45.0.1566780361852	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:46:01
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	41	38.PAGE_SERIES.41.0.1566780326091	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:26
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	44	38.PAGE_COMIC.44.0.1566780357993	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:45:57
operationPage	A089E41D06A0	12042140205760A089E41D06A0	9518971	vod	38	46	38.PAGE_RECORD.46.0.1566780365053	0	POS_RECOMMEND_BIT	推荐位	2019-08-26 08:46:05
Time taken: 0.136 seconds, Fetched: 13 row(s)

上面使用了RegexSerDe的正则表达式拆分功能，使用RegexSerDe类时，所有的字段必须为string

参数说明注意
input.regex输入的正则表达式，大括号表示一个字段数据如以一个匹配组，表示一个字段：([^ ]*)
input.regex.case.insensitive是否忽略字母大小写，默认为false 
output.format.string输出的正则表达式%num表示字段位置

 

jiandequn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据 hive 15--hive日志分析案例
zhang__rong的博客
01-09 3546
1.1 项目来源 本次实践的目的就在于通过对该技术论坛网站的tomcat access log日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。 PS：开发该系统的目的是为了获取一些业务相关的指标，这些指标在第三方工具中无法获得的； 1.2 数据情况 该论坛数据有两部分： （1）历史数据约56GB，统计到2012-05-29。这也说明，在2012-05-29之前，日志文件都...
hive进阶，以及hive处理日志文件实例，数据倾斜处理等hive进阶内容
大数据小白
09-10 1069
hive进阶 case-when-then-else select id,name,age1, case when age1 < 18 then ‘小屁孩’ when age1 >=18 then ‘成年人’ else ‘aa’ end as age222222 from person; hive server2 配置 <property&gt...
Hive基础08、Hive引入Struct结构体
红目香薰
07-03 1132
创建一个温良贤淑女子的表英文关键字解析： 创建成功： 使用【desc tableName】查看即可。上传至【/opt/temp/】
HIVE 处理日志，自定义inputformat 完整版
wisgood的专栏
05-05 3224
网上找了很多材料都是写了部份代码的，今天在峰哥的帮助下实现了此功能。 为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的inputformat类打成jar包，如MyInputFormat.jar 将MyInputFormat.jar放到 hive/lib里，然后就可以建表了 假设你的input
HIVE 处理日志，自定义inputformat 完整版
松篁
01-23 289
网上找了很多材料都是写了部份代码的，今天在峰哥的帮助下实现了此功能。 为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的inputformat类打成jar包，如MyInputFormat.jar 将MyInputFormat.jar放到 hive/lib里，然后就可以建表了 假设你的inputFormat类路径是co...
HIVE实战测试数据，HIVE实战测试数据
08-07
Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，同时支持通过用户自定义函数（UDF）扩展其功能。Hive的主要设计目标是简化大数据的分析工作，使数据分析人员无需...
hive安装资料手册.rar
05-09
1. Hive：Apache Hive是一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL（HQL）查询功能，用于大数据集的分析。 2. 源码软件：Hive作为一个开源项目，允许用户访问其源代码，便于自定义开发...
Flume采集Nginx日志到新版Hive.rar
09-20
在Hive中创建表结构，以匹配Nginx日志字段： ```sql CREATE TABLE nginx_logs ( ip STRING, time STRING, method STRING, url STRING, protocol STRING, status INT, body_bytes_sent INT, referer STRING,...
Apache Hive.zip
最新发布
10-27
**Apache Hive：大数据处理的得力工具** Apache Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL（HQL，Hive Query Language）查询功能，使得用户可以方便地进行大...
hive处理日志，自定义inputformat
小桥
06-26 1062
开放环境，hadoop-0.20.2，hive-0.6 1.日志分隔符 Xml代码   2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.com/product/201185.html   2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.co
如何往hive直接插入自定义数据values
IKnowNothinglee的博客
08-12 1万+
我们熟知的hive支持插入数据的方式有两种，覆盖写入insert overwrite和增量写入insert into。常见数据获取方式有两种（1）文件导入load data (local) inpath…（2）查询导入 insert overwrite/into table select * from table1… 但是，hive支不支持直接插如自定义数据呢，有没有类似sql类数据库的“inse...
Hive CLI – Migrating to Beeline
我思，故我在！--My data life
06-21 1万+
Hive Beeline的用法转载：http://www.teckstory.com/hadoop-ecosystem/hive-new-cli-beeline-for-hive/Hive is the data warehouse software of Hadoop ecosystem. It provides a mechanism to project structure onto lar
@Column注解及属性详解
热门推荐
别样的风采是我
05-17 20万+
@Column注解用来标识实体类中属性与数据表中字段的对应关系（1）源码：/* * Copyright (c) 2008, 2009, 2011 Oracle, Inc. All rights reserved. * * This program and the accompanying materials are made available under the * terms of t...
hive 学习系列一（数据类型的定义）
一杯派蒙的博客
06-06 3390
数字类型（Numeric Types） 整型 TINYINT(取值范围：-128 – 127) SMALLINT(取值范围：-32,768 to 32,767) INT/INTEGER(取值范围： -2,147,483,648 to 2,147,483,647) BIGINT(取值范围： -9,223,372,036,854,775,808 to 9,223,372,036,854,...
@Column注解解析
qq_35751402的博客
11-02 1万+
功能：@Column注解用来标识实体类中属性与数据表中字段的对应关系 语法： @Column(columnDefinition = "bigint(18) comment '公司ID'") private Long ouId; //columnDefinition表示创建表时，该字段创建的SQL语句，一般用于通过Entity生成表定义时使用。（也就是说，如果DB中表已经建好了，该属性就没有必要使用了） //comment(注释的意思-我这个文盲硬生生以为是@Column里面带的，类似于name.
Hive学习笔记（3）- Hive 运行日志的配置
一角残叶的博客
01-16 2739
1 Hive 运行日志配置 [hadoop@node1 ~]$ cd $HIVE_HOME/conf [hadoop@node1 conf]$ ll total 20 -rw-r--r--. 1 hadoop hadoop 1196 Mar 24 2016 beeline-log4j.properties.template -rw-r--r--. 1 hadoop hadoop 2470 Jan...
Hive 核心原理（hive-3.1.2）
小王是个弟弟
08-29 9295
全面分析与传统数据库在设计理念、基本使用等方面的相同点和不同点。hive有这一篇差不多就够了
HIVE 自定义字段插入数据
半吊子Kyle的博客
03-02 6269
HIVE 自定义字段插入数据环境介绍只插入自定义字段（单条数据插入）只插入自定义字段（多条数据插入） 环境介绍 ① 环境说明 HIVE 2.1.0 + Hadoop 2.7.5 ② 文章参考 HIVE INSERT 说明 只插入自定义字段（单条数据插入） ① 非分区表的插入方式 -- 建表语句 create table if not exists user_card_info_temp ( user_id string comment '用户ID', user_name string c
尚硅谷Hive教程：大数据处理与优化解析
在大数据处理领域，Hive是一个非常重要的工具，它是由Facebook开源，主要用于处理海量结构化日志的数据统计。Hive建立在Hadoop之上，它将结构化的数据文件映射为数据库中的表，并提供了类SQL（HQL，Hive Query ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值