Hive
wlk_328909605
抱你于怀,寄你于心。跃然屏上,付我青春韶华,换你真情相待。
展开
-
茄子快传数据分析之原理分析及数据清洗
需求:联想集团有一款app产品叫茄子快传(有上亿的活跃用户,集中在第三世界国家) 现在需要开发一个数据分析系统,来对app的用户行为数据做各类分析;原理: 流程如下图: 流程简单介绍: 用户通过茄子的客户端产生数据, 将使用时间,手机号,ip地址,手机的序列号,app的版本,app的下载渠道等重要信息上传到联想的web日志服务器上,服务器的后台系统打印出日志文件,通过flume(...原创 2018-08-30 20:30:34 · 11821 阅读 · 0 评论 -
Hive简介及安装详细过程
HiveHive是一种sql工具,能将sql语句,转换成MapReduce语句,能对HDFS上的文件进行查询、运算,并返回结果,或者将结果存入HDFS,大大的减少开发难度。Hive的工作机制核心要点1.Hive利用HDFS来存储数据文件 2.利用mapreduce来做数据查询运算 3.利用sql来为用户提供查询接口Hive安装过程1.简单安装(使用Derby...原创 2018-08-28 10:17:24 · 210 阅读 · 0 评论 -
茄子快传数据分析之活跃用户和新增用户数据分析
第一步:数据定义—建模(引用数据仓库的概念) 1.创建贴源数据表create database app_db;//建库use app_db;create external table ods_app_log( cid_sn string, mobile_data_type string, os_ver string,...原创 2018-08-31 14:24:10 · 927 阅读 · 0 评论 -
Hive 的基本命令
如果Hive没有安装,可以看前一篇文章 1.启动Hive 前台启动hive: [root@hadoop-slave02 bin]# hiveserver2 后台启动hive:[root@hadoop-slave02 bin]# nohup ./hiveserver2 &[root@hadoop-slave02 bin]# beelinebeeline> !con...原创 2018-08-28 19:21:50 · 363 阅读 · 0 评论