hive
梦想成真那天
这个作者很懒,什么都没留下…
展开
-
Flume-NG + HDFS + HIVE 日志收集分析
Flume-NG + HDFS + HIVE 日志收集分析 2014-02-07 17:43 11373人阅读 评论(3) 收藏 举报 最近做了一个POC,目的是系统日志的收集和分析,此前有使用过splunk,虽然用户体验很好,但一是价格昂贵,二是不适合后期开发(splunk已经推出了SDK,后期开发已经变得非常容易)。在收集TB级别的日志量上flume-ng是更好的选择,因为后面的存储是扩展性转载 2017-04-05 15:48:18 · 466 阅读 · 0 评论 -
Hive数据结构转换
在之前项目中,由于本分到Hive的数据格式是JSON字符串的格式,其中核心的数据集是以一个字符串,存在MSG列下的,所以就需要将MSG的数据解析出来,单独作为一个结构,一边后续的数据进行分析处理,直接上代码:CREATE EXTERNAL TABLE cti_agent_data( vcc_id INT , ag_id INT , grp_id INT, que_id IN...原创 2018-08-23 10:14:15 · 553 阅读 · 0 评论 -
Hive 使用Load加载数据
首先需要在hive上建表. CREATE TABLE Load( key STRING , value STRING ) row format delimited fields Terminated by ' ' lines terminated by '\n'stored AS textfilelocation 'oss://icsoc-emr-hadoop/cti-backu...原创 2018-08-23 13:25:05 · 9912 阅读 · 0 评论 -
Hive 命令行使用
1.执行shell命令,但是该中方式暂时不支持管道hive> !cat myfile > ;one rowhive> !pwd > ;/root/xuchanghive>2.hive使用Hadoop的dfs命令hive> dfs -ls / > ;Found 7 itemsdrwxr-x--x - had原创 2018-08-23 13:35:41 · 439 阅读 · 0 评论