![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
小维_
这个作者很懒,什么都没留下…
展开
-
Hive知识点(十) --Hive数据结构[Array Map Struct json]
1.Array1.创建表create table 表名(id int,other Array<string>) row format delimited fileds terminated by '\t' collection items terminated by ',' ;2.加载数据load data local 'filepath' into table 表名;3.查看表select * from 表名;4.查看表结构desc 表名;4.查看数组【下标由0开始】sel原创 2020-07-30 16:33:47 · 530 阅读 · 0 评论 -
Hive知识点(九) --Hive的集中交互操作
1.bin/hive -ebin/hive -e "SQL语句"应用场景:在本次操作Hive语句,不用进入Hive命令行窗口cd app/hivebin/hive -e "SQL语句" 如:bin/hive -e "select * from hive1.hive1;"2.bin/hive -fbin/hive -f filepath应用场景:将SQL语句写入到file中,然后通过-f进行操作,当SQL语句比较多,容易修改,和上面-e效果是一样的cd tmpvi t1.sqls原创 2020-07-30 11:22:07 · 133 阅读 · 0 评论 -
Hive知识点(八) --排序
1.order byselect * from emp order by sal desc; #降序select * from emp order by sal asc; #升序order by:是对全局数据的一个排序,仅仅只有一个Reduce2.sort byset mapreduce.job.reduces=3; #当设置为3.则数据的文件数量就为3select * from emp sort by sal asc; #表示对3个文件内部进行排序例:insert ov原创 2020-07-30 11:10:34 · 86 阅读 · 0 评论 -
Hive知识点(七) --聚合函数
0.查看聚合函数show functions #查看聚合函数desc function extended upper; #查看upper函数的使用,里面会有案例讲解描述的缩写 函数 扩展 函数名1.group by1.求每个部门的平均工资select depo,avg(sal) from emp group by depo; 备注:其中from前面出现的字段是有要求的 1.group by 通过分组将部门按组分开 #所以group by出现的字段前面要出现,其他的字原创 2020-07-30 10:31:23 · 449 阅读 · 0 评论 -
Hive知识点(六) --Hive表的导入|导出
load data [local] inpath ‘filepath’ [overwrite] into table 表名 [partition(partiton=value,…)]1.导入Hive表1.1加载本地(Linux系统)文件到Hive表load data local inpath '/home/hadoop/tmp/data.txt' into table hive2;1.2加载HDFS文件到Hive表hdfs dfs -mkidr /user/data #在HDFS中创原创 2020-07-30 10:03:01 · 152 阅读 · 0 评论 -
Hive知识点(五) --内/外/分区表
内部表和外部表1.内外部表区别2.分区表2.1 一级分区表2.2 二级分区表1.内外部表区别Hive里面有两种数据:1.data(表数据):存储在HDFS2.metadata(元数据):存储在MySQL内部表(managed):hive.metastore.warehouse.dir=/use/hive/warehouse #内部表的创建,默认路径 当删除表====》同时删除data+medadata 外部表(external):create exter原创 2020-07-22 16:03:20 · 263 阅读 · 0 评论 -
Hive知识点(四)--表DDL操作
Hive表操作1.DDL1.DDLCREATE TABLE table_name[(col_name data_type [column_constraint_specification] [COMMENT col_comment], … [constraint_specification])][[ROW FORMAT row_format]AS select_statementCREATE TABLE table_nameLIKE existing_table_or_view_name[原创 2020-07-21 23:05:27 · 270 阅读 · 0 评论 -
Hive知识点(三)--数据库知识(二次学习)
Hive数据库1.准备工作2.DataBases2.1 DDL操作3.数据类型1.准备工作HIve是一个客户段,其实就是一个jar包进入Hive命令行窗口首先需要开启Hadoop,因为Hive是建立在HDFS文件之上的组件========启动进程======cdapp/hadoop./sbin/start-all.sh cd app/hivehive打开HDFS页面: IP:500702.DataBasesHive在HDFS中默认的位置是/user/hive/warehouse其原创 2020-07-21 22:37:40 · 138 阅读 · 0 评论 -
问题点2--Hive首次建表,提示错误
Hive首次建表,提示错误:错误提示:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:An exception was thrown while adding/validating class(es) : Column length too big for column ‘TYPE_NAME’ (max = 21845); use BLOB原创 2020-07-16 16:35:13 · 203 阅读 · 0 评论 -
问题点2--Hive启动错误
Hive启动错误:[hadoop@data001 hive]$ hivewhich: no hbase in (/home/hadoop/app/hadoop/bin:/home/hadoop/app/hadoop/sbin:/usr/java/jdk1.8.0_221/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/home/hadoop/app/hadoop/bin:/home/hadoop/app/hadoop/sb原创 2020-07-15 21:03:21 · 723 阅读 · 0 评论 -
Hive知识点(三)--基本命令
Hive常用命令1.基本命令2.Hive中数据库存放在HDFS的位置3.Hive中数据库切换4.Hive中数据库控制台显示设置4.1全局的修改4.2局部的修改5.Hive中指定数据库建表6.Linux界面执行Hive语句6.Hive的日志存放7.问题点1.基本命令#首先启动Hadoopsu - hadoopapp/hadoop/sbin/start-all.shhive #启动hive default #Hive中默认有一个数据default default指向的路径是${hi原创 2020-06-01 22:38:54 · 261 阅读 · 0 评论 -
Hive知识点(二)--理论知识
The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided .......原创 2020-06-01 14:53:06 · 180 阅读 · 0 评论 -
Hive知识点(一)---Hive安装部署
Hvie安装部署1.准备环境2.安装2.1解压缩2.2修改conf中hive-site.xml2.3配置lib3.启动4.安装过程中问题1.准备环境1.JDK2.MySQL3.Hadoop(SSH免密)mysql -uroot -pgrant all privileges on *.* to hive@'%' identified by '000000';flush privileges;exit;2.安装2.1解压缩su - hadoopwget http://archive.原创 2020-05-29 21:56:54 · 151 阅读 · 0 评论