![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
Mr云飞
书山有路勤为径,学海无涯苦作舟。锲而舍之,朽木不折;锲而不舍,金石可镂。
展开
-
启动Hive时报错name noe is safe node
(1)原因是因为名称节点,处于安全模式 Exceptioninthread"main"java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hi...原创 2018-08-30 20:56:10 · 332 阅读 · 0 评论 -
Compress的选择(1)
先丢在这儿: 首先排除要不要压缩的问题.不压缩的不考虑 个人理解觉得选择标准有两个 1.首先目标文件大还是小.小文件一律快压,分不分片是大文件考虑的问题 2.其次就是业务场景上看.老生常谈的问题: 首先需不需要随机读,如果需要就是lzo补索引,原则上不考虑bzip2, 其次就是压缩时间,CPU能力和压缩比的权衡.这里个人是倾向是只要不是对磁盘对压缩比有绝对要求,否则一律snappy或者lz4选...原创 2018-11-02 16:03:48 · 510 阅读 · 0 评论 -
Hive入门(3)
1.DML补充 (1)查询出不包含xx的数据 select * from emp where ename not in ('SCOTT'); //查询不包含ename等于SCOTT的所有行 (2)查询出指定的某行 select * from emp where ename in ('SCOTT','ss'); 查询返回ename = SCOTT 和 ss的行 (3)查询某...原创 2018-12-29 08:54:42 · 121 阅读 · 0 评论 -
Hive入门(1)
1.产生背景 (1)MapReduce编程十分复杂。 (2)传统的RDBMS能满足一般的需求,但是不能处理大数据,需要一个SQL就能处理大数据的。 (3)这时结合前俩个缺点改进,就有了Hive (4)提高Hive要想到:SQL on Hadoop(在Hadoop上用SQL来操作) 2.Hive基本概念 (1)Hive的作用:Apache蜂巢™数据仓库软件便于读,写,和管理大型数据集居住...原创 2018-12-24 15:28:08 · 127 阅读 · 0 评论 -
Hive入门(2)
1.Hive DDL 1.1 database DDL (1) 创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name //生产中if not exists都带上 [COMMENT database_comment] //可以增加注释 [LOCATION hdfs_path] //存的路径不写默认的就是/use...原创 2018-12-25 22:03:26 · 115 阅读 · 0 评论 -
Hive入门(4)
1.函数补充 (1)explode :将数组变成一列列的 (2)需求举例:求一个WC Time taken: 1.071 seconds hive> load data local inpath '/home/hadoop/data/hive_wc.txt' into table hive_wc; Loading data to table default.hive_wc Table...原创 2019-01-01 10:12:29 · 158 阅读 · 0 评论