![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 51
HeatDeath
Learn by doing!
展开
-
Hive 基础
1 hive 常用命令假设有数据库 fm_data,里面有表格 shield_fm_feature_item_ctrshow databases; //列出数据库desc database fm_data; // 展示数据库 fm_data 的信息use fm_data; // 使用某个数据库 fm_data\set hive.cli.print.current.db=true; 显示列头set原创 2017-12-28 23:00:10 · 549 阅读 · 0 评论 -
Hive 修改表、分区、列
参考资料:1、Hive 修改table、column https://www.jianshu.com/p/9088fe002e2a2、Hive学习之修改表、分区、列 https://blog.csdn.net/skywalker_only/article/details/30224309原创 2018-05-24 16:49:40 · 6781 阅读 · 0 评论 -
Hive 删除分区的方法
ALTER TABLE table_name DROP IF EXISTS PARTITION(year = 2015, month = 10, day = 1);1、HIVE表中分区的删除 https://blog.csdn.net/sparkexpert/article/details/510243922、hive如何删除分区一天的数据 http://www.about...原创 2018-05-25 08:56:23 · 58908 阅读 · 0 评论 -
通过 JDBC 连接Hive Server2 设置 Yarn 队列的方法
方式一:方式二:方式三:private static String url = "jdbc:hive2://<SERVER_IP>:<THRIFTSEVER2_PORT>/<DATABASE_NAME>";如果需要设置队列private static String url = "jdbc:hive2://<SERVER_I...原创 2018-03-14 15:11:13 · 7168 阅读 · 1 评论 -
Hive 的查询结果直接导入到 MySQL 中的方法
步骤一:hive> add jar /setup/hive/lib/mysql-connector-java-5.1.25-bin.jar;hive> add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;步骤二:hive> CREATE TEMPORARY FUNCTION dboutput AS ...原创 2018-03-20 13:22:58 · 6415 阅读 · 0 评论 -
Java 使用 JDBC 调用 Hive 出现 The query did not generate a result set!
使用Java通过jdbc调用Hive,执行hive sql时出现如下异常:Caused by: org.iq80.leveldb.DBException: java.sql.SQLException: The query did not generate a result set! at cn.wanghy.util.HiveTools.listTables(HiveTools...转载 2018-03-14 20:09:22 · 2059 阅读 · 0 评论 -
Hive 报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExce
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server ve原创 2018-01-09 16:40:49 · 3070 阅读 · 1 评论 -
Hive 中的外部表在数据源移动后,如何进行查询操作?
修改被移动数据源的表的 location 即可hive> alter table injury_info_daily_test_2 set location '/input';OKTime taken: 0.07 seconds原创 2018-01-09 14:16:27 · 886 阅读 · 1 评论 -
Hive 分区的简介
hive的partition的作用和使用方法网上有篇关于hive的partition的使用讲解的比较好,转载了:一、背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候转载 2018-01-09 10:58:59 · 481 阅读 · 0 评论 -
Hive 中的表与外部表
相信很多用户都用过关系型数据库,我们可以在关系型数据库里面创建表(create table),这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表:hive> create table wyp(id int, > name string, > age int, > tele string) > ROW FORMAT原创 2018-01-06 17:51:02 · 397 阅读 · 0 评论 -
向 Hive 表中加载数据,从 Hive 表中导出数据
1 建表时候直接指定如果你的数据已经在HDFS上存在,已经为结构化数据,并且数据所在的HDFS路径不需要维护,那么可以直接在建表的时候使用location指定数据所在的HDFS路径即可。CREATE [EXTERNAL] TABLE t_lxw1234 (day STRING,url STRING)ROW FORMAT DELIMITED FIELDS TERMINATED B原创 2018-01-08 17:22:38 · 1345 阅读 · 0 评论 -
在 CentOS 6.7 环境下安装 Hive 的方法
Hadoop 的安装过程不再赘述具体方法见之前的文章在 CentOS 7.2 下安装 Hadoop 2.7.5 并搭建伪分布式环境的方法 http://blog.csdn.net/heatdeath/article/details/788670931 安装 MySQL在安装之前,需要先安装MySql,Hive默认使用内嵌的DerBy作为元数据库,但是鉴于其单会话限制,这里使用Mysql作为元数据库原创 2017-12-25 16:22:17 · 1114 阅读 · 1 评论 -
Hive SQL 基础语法(1)
1 substr , substring字符串截取函数:substr,substring语法: substr(string A, int start, int len),substring(string A, int start, int len) 返回值: string 说明:返回字符串 A 从 start 位置开始,长度为 len 的字符串 举例: hive> select substr原创 2017-12-26 16:47:24 · 3117 阅读 · 0 评论 -
Hive 显示分区,根据分区进行查询的方法
hive> show partitions table_name;原创 2017-12-27 23:41:06 · 50603 阅读 · 1 评论 -
Hive 与 HDFS 之间的联系、Hive 与 关系型数据库的区别
1 Hive 与 HDFS 之间的联系(1)hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓库的统计分析。(2)Hive原创 2017-12-28 22:53:27 · 28804 阅读 · 0 评论 -
Hive Shell 常用操作
Hive Shell常用操作 Hive Shell常用操作 1.Hive非交互模式常用命令: 1) hive -e:从命令行执行指定的HQL,不需要分号:% hive -e 'select * from dummy' > a.txt...转载 2018-05-24 17:33:38 · 1116 阅读 · 0 评论