Hadoop 大数据--Hive
大数据小小罗
做一个有思想的程序设计者!
展开
-
Hive入门--4.flume-数据收集工具
Flume简介Flume安装1. 解压 flume安装包到 /itcast/ 目录下 tar -zxvf /*flume安装包*/ /itcast/2. 修改 flume配置文件:2.1 flume-env.sh修改文件名称: mv flume-env.sh.template flume-env.sh添加java_home,保证flume所使用的jdk和hdfs是一样的(可以使用原创 2016-07-22 12:25:32 · 2122 阅读 · 1 评论 -
Hive入门--2.分区表 外部分区表 关联查询
1.查看mysql中metastore数据存储结构Metastore中只保存了表的描述信息(名字,列,类型,对应目录)使用SQLYog连接itcast05 的mysql数据库 查看hive数据库的表结构: 2.建表(默认是内部表(先建表,后有数据))(建表时必须指定列的分隔符)create table trade_detail( id bigint, account strin原创 2016-07-21 17:20:15 · 8582 阅读 · 0 评论 -
Hive入门--3.UDF编写与使用
1. 编写UDF函数a) 继承org.apache.hadoop.hive.ql.exec.UDF类,实现evaluate()evaluate()函数在父类中没有package cn.itcast.hive.udf;import java.util.HashMap; import java.util.Map;import org.apache.hadoop.hive.ql.exec原创 2016-07-21 17:46:04 · 1800 阅读 · 1 评论 -
Hive入门--1.简介与环境搭建
Hive入门 hive是一个数据仓库,用于存储海量格式化数据,方便开发人员对其使用SQL语言进行数据分析。 它的所有表中的数据存放在 hdfs 文件系统中,保证了数据的可靠性,安全性 它的表的描述信息 metastore(包括表字段定义、文件在hdfs中的映射位置)存放在单独的数据库中,默认的是derby本地文件数据库,大多情况下使用 mysql 进行存储7.1.1 derby数据原创 2016-07-21 15:56:49 · 680 阅读 · 0 评论 -
Hive入门--6.表的基本操作
1.Hive表的基本数据类型 tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, decimal, char, varchar, date2.Hive表的集合类型 Array:ARRAY类型是由一系列相同数据类型的元素组成, 这些元素可以通过下标来访问,例 : array[1]原创 2016-07-29 20:43:46 · 1229 阅读 · 1 评论