AndyLizh的专栏

给人生一个梦,给梦一条路,给路一个方向!

如何用Hive“傻瓜式”搭建数据仓库—Hive安装部署

一、前言: 数据仓库主要用来用来存储公司或者企业的历史数据,即日积月累的数据。 1、数据库与数据仓库区别: 关系型数据库是基于事务性的,数据仓库是根据主题构建的。 2、使用示例: l 用户使用天然气的大数据分析 l 电影票房分析收视率等 l 百度搜索关键词分析热词 二、Hive简介...

2017-04-28 18:23:42

阅读数 4738

评论数 0

Hive 使用RegexSerDe来处理标准格式Apache Web日志

我们以一个例子来介绍如何使用RegexSerDe来处理标准格式的Apache Web日志,并对其进行统计分析。我的Hive版本是apache-hive-2.1.1-bin 一、在Hive中创建表apache_log [sql] view plain copy CREATE T...

2017-04-28 18:19:09

阅读数 741

评论数 0

用Hive分析nginx日志——1

这里用到的nginx日志是网站的访问日志,比如: [java] view plain copy 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTT...

2017-04-28 18:02:14

阅读数 630

评论数 0

用Hive分析Nginx日志

一、Nginx日志文件格式 111.37.1.15|100.109.0.149|[28/Apr/2017:14:36:08 +0800]|GET /service/getCity.do?region=河北 HTTP/1.0|200|1292|0.002|-|Dalvik/1.6.0 (Linux;...

2017-04-28 17:04:00

阅读数 1605

评论数 0

hadoop2.7.3 搭建QA

Q:输入jps显示datenode没有启动 A:到logs里面查看日志发现是namenode 与 datenode的clusterID不一致导致 到/home/abc/hadoop_tmp底下,将name/current下的VERSION中的clusterID复制到data/c...

2017-04-24 18:59:07

阅读数 520

评论数 0

Hadoop安装

Hadoop安装 一、下载hadoop-2.7.3.tar.gz wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 二、解压安装包:tar -zxvf had...

2017-04-24 14:17:30

阅读数 533

评论数 0

hive2.1.1安装部署

一、Hive 运行模式   与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不...

2017-04-24 11:07:50

阅读数 920

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭