![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
Mr云飞
书山有路勤为径,学海无涯苦作舟。锲而舍之,朽木不折;锲而不舍,金石可镂。
展开
-
启动Hive时报错name noe is safe node
(1)原因是因为名称节点,处于安全模式Exceptioninthread"main"java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hi...原创 2018-08-30 20:56:10 · 359 阅读 · 0 评论 -
Compress的选择(1)
先丢在这儿:首先排除要不要压缩的问题.不压缩的不考虑个人理解觉得选择标准有两个1.首先目标文件大还是小.小文件一律快压,分不分片是大文件考虑的问题2.其次就是业务场景上看.老生常谈的问题: 首先需不需要随机读,如果需要就是lzo补索引,原则上不考虑bzip2,其次就是压缩时间,CPU能力和压缩比的权衡.这里个人是倾向是只要不是对磁盘对压缩比有绝对要求,否则一律snappy或者lz4选...原创 2018-11-02 16:03:48 · 560 阅读 · 0 评论 -
Hive入门(3)
1.DML补充(1)查询出不包含xx的数据select * from emp where ename not in ('SCOTT');//查询不包含ename等于SCOTT的所有行(2)查询出指定的某行 select * from emp where ename in ('SCOTT','ss');查询返回ename = SCOTT 和 ss的行 (3)查询某...原创 2018-12-29 08:54:42 · 129 阅读 · 0 评论 -
Hive入门(1)
1.产生背景(1)MapReduce编程十分复杂。(2)传统的RDBMS能满足一般的需求,但是不能处理大数据,需要一个SQL就能处理大数据的。(3)这时结合前俩个缺点改进,就有了Hive(4)提高Hive要想到:SQL on Hadoop(在Hadoop上用SQL来操作)2.Hive基本概念(1)Hive的作用:Apache蜂巢™数据仓库软件便于读,写,和管理大型数据集居住...原创 2018-12-24 15:28:08 · 137 阅读 · 0 评论 -
Hive入门(2)
1.Hive DDL1.1 database DDL(1) 创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name //生产中if not exists都带上 [COMMENT database_comment] //可以增加注释 [LOCATION hdfs_path] //存的路径不写默认的就是/use...原创 2018-12-25 22:03:26 · 121 阅读 · 0 评论 -
Hive入门(4)
1.函数补充(1)explode :将数组变成一列列的(2)需求举例:求一个WCTime taken: 1.071 secondshive> load data local inpath '/home/hadoop/data/hive_wc.txt' into table hive_wc;Loading data to table default.hive_wcTable...原创 2019-01-01 10:12:29 · 186 阅读 · 0 评论