hive
文章平均质量分 91
Hive
Recall-MK
这个作者很懒,什么都没留下…
展开
-
大数据-hive原理
HIVE的原理1、Hive:是数据仓库什么是数据仓库:1、数据库主要是通过业务层读取数据,进行显示2、数据仓库则是对数据进行分析和数据挖掘 2、Hive:也是解释器,编译器,优化器因为数据是存到hdfs中,而hive是通过sql进行查询,内部使用的是mapreduce来进行hdfs进行查询,它使用mapreduce的过程中就是优化,编译的过程。 3、Hive:运行时,元数据存储在关系型数据库中元数...原创 2018-03-25 13:10:08 · 369 阅读 · 0 评论 -
大数据-hive的部署
HIVE的三种模式的安装1、本地模式(直接pass,不考虑)2、单用户模式3、多用户模式(远程服务器模式) 首先我先要安装mysql,文档的话可以查看我写的mysql安装文档安装完mysql后,你要对其进行权限的设置,也就是我安装的root权限可以访问数据库中的所有表 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456'...原创 2018-03-25 13:22:59 · 200 阅读 · 0 评论 -
hiveSql-DDL
DDL比DML要多,主要的命令有CREATE、ALTER、DROP等,DDL主要是用在定义或改变表(TABLE)的结构,数据类型,表之间的链接和约束等初始化工作上,他们大多在建立表时使用 1、创建数据库:括号里面的2个里选一个CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] <database name>2、删除数据库:中括号表示可写可不写DROP (D...原创 2018-03-25 13:28:23 · 240 阅读 · 0 评论 -
hiveSql-分区
hive中创建表分区:分区什么时候用?例子1:假如我有一个log日志表,我要对其建立分区的话,可以通过时间来建立分区,意思就是,我每天的数据都会存到一个目录中例子2:假如我这个日志表是不同类型的信息,我可以通过分区,对其分开进行管理创建分区的代码创建分区的代码要写在上面,如下,我写的是将性别进行分区注意:你不能写成 name String,也就是分区字段不能与创建表的字段一致,否则会报错c...原创 2018-03-25 13:31:49 · 5329 阅读 · 0 评论 -
hiveSql-DML
DML主要就是操作数据了,因为数据存到了DML中所以,删除等操作用的很少,主要就是导数据: 导入数据2种:第一种:直接目录导入1、从本地导入数据到hive中:load data local inpath ‘/~/~/~/data.txt’ overwrite into table psn1;注意:我如果再次执行上面的语句(原始文件名字一样),它会在psn1目录下面,自动生成一个data_copy...原创 2018-03-25 13:33:23 · 206 阅读 · 0 评论 -
HiveServer2-Beeline
Beeline要与HiveServer2配合使用优势:可以使用JDBC来连接hive:启动HiveServer2:./~/~/hiveserver2启动beeline:-n root:(此root不是mysql的用户,而是我本虚拟机的用户,为了方便链接hdfs才写的root)-w password:(密码可以随意,因为我访问hdfs并不需要密码) 注意:默认用户名、密码是不用验证的,如果想开启可以...原创 2018-03-25 13:35:28 · 610 阅读 · 0 评论 -
hive-函数
1、hive的内置运算符 比较运算符:A==BA<>B 不等于A<BA<=BA>=BA IS NULLA IS NOT NULL like 模糊查询 算术运算符:A+BA-BA*BA/BA%B 逻辑运算符:A AND BA && B:(与A AND B一样并且的意思)A OR BA | B:(与A OR B一样或者的意思)NOT A! A (与 NOT...原创 2018-03-25 13:38:40 · 295 阅读 · 0 评论 -
hive-mapJoin
巧用MapJoin解决数据倾斜的问题: Hive的MapJoin理解: join的操作是在map阶段完成后,如果需要的数据在map的过程中可以访问到则就不再需要reduce了。 例如: 小表关联一个超大表时,容易发生数据倾斜,可以使用Mapjoin把小表全部加载到内存,在map端进行join,避免reduce处理代码:select c.channel_name,count(t.reques...原创 2018-03-25 13:41:05 · 491 阅读 · 0 评论