![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 70
单线程的呆子
这个作者很懒,什么都没留下…
展开
-
Hive 基础原理
为什么有有hive ?便于一些不会java的人对HDFS上的数据执行MapReduec操作。Hive是一种数据仓库HIVE: 解释器 编译器 优化器 sql ——》执行计划Hive运行时,元数据储存在关系型数据库里Hive不支持事物,非实时,不支持行级别的CRUD。因为HDFS不支持数据库:业务数据。 三大范式,减少冗余。给业务系统支撑数据仓库:历史数据。HDFS 引入...原创 2018-06-17 10:07:28 · 368 阅读 · 1 评论 -
hive 三种搭建方式
2 多用户模式将hive-site.xml配置文件拆为如下两部分 1)、服务端配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <confi原创 2018-06-13 13:39:16 · 359 阅读 · 0 评论 -
Hive的DDL和DML操作
hive官网链接点击打开链接摘要Create/Drop/Alter/Use Database创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_...原创 2018-06-18 22:25:36 · 390 阅读 · 0 评论 -
使用Beeline连接Hive
服务端启动hiveserver2 [root@node04 ~]# hiveserver2客户端进入beeline并连接 [root@node03 ~]# beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://node04:10000 Connecting to jdbc:hive2://nod...原创 2018-06-19 16:29:05 · 19214 阅读 · 1 评论 -
hive 对json数据的处理
hive 存储,解析,处理json数据 hive 处理json数据总体来说有两个方向的路走1、将json以字符串的方式整个入Hive表,然后通过使用UDF函数解析已经导入到hive中的数据,比如使用LATERAL VIEW json_tuple的方法,获取所需要的列名。2、在导入之前将json拆成各个字段,导入Hive表的数据是已经解析过得。这将需要使用第三方的SerDe。 测试数据为新浪微博测试...原创 2018-07-01 12:24:54 · 1782 阅读 · 0 评论 -
JDBC连接Hive
import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager;public class HiveJdbcClient { private static String driverN...原创 2018-06-19 21:47:31 · 182 阅读 · 0 评论 -
hive知识大全
Hive 的产生 Hive 产生的原因:方便非java 编程者(熟悉 SQL 语言)对 hdfs 的数据做 mapreduce操作。 Hive 是数据仓库 数据库:用户与数据库交互,提交 SQL 语句后,马上见到执行结果;存放业务数据;数据库提出范式的概念是为了解决数据冗余和耦合的问题;数据库给业务数据提供存储支撑。数据仓库:不与用户交互;存放历史数据;反范式设计,专门引入冗余数据...原创 2018-07-10 12:05:48 · 3274 阅读 · 0 评论 -
hive小例子-----手机基站掉话率
实验数据大家自己下https://pan.baidu.com/s/1AYkb_B3GIuMGKiIbmJvV6w建表create table cell_monitor(record_time string,imei string,cell string,ph_num int,call_num int,drop_num int,duration int,drop_rate double,net_ty...原创 2018-07-11 11:17:57 · 433 阅读 · 0 评论