![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
FangStar8Jeff
这个作者很懒,什么都没留下…
展开
-
Hive源码编译,自定义UDF,并整合到Hive源码
在生产实践当中,我们往往需要自定义UDF函数,整合到hive源码,并对hive源码进行编译,使得我们的函数和hive自带的函数一样,打开hive便可以使用 先在自己的服务器准备好Maven,本人的maven版本是 3.6.1本人事先已经下载好别人编译好的hive1.2.1,再此基础再去整合编译可以省去不少麻烦!!!此版本下载地址为 https://download.csdn.net/download/faded1573606285/11846507?utm_mediu...原创 2021-03-10 11:58:42 · 305 阅读 · 0 评论 -
sqoop query时单双引号选用以及$CONDITION使用的探究
这段时间碰见了一个奇怪的sqoop导入问题。我的业务目标是想将postgresql库里的某张表内的数据导入到hive里,而且在导入的时候需要做一步查询。但在导入的时候,围绕着"$CONDITION"这个参数,会有不同的运行结果,有的报错,有的查询结果为空,我们下面来看看:在pgsql里的查询语句为:# postgresql 查询语句select id,check_code,lastupdatetime,check_num,report_name,json_object_keys(reportin转载 2020-11-03 15:48:40 · 1259 阅读 · 0 评论 -
Hive导生产数据到测试环境的步骤
现在导数的原则变了,直接按分区表导数,数据可以直接put到测试环境目标表。hdfs dfs -put NAS盘位置 hdfs位置MSCK REPAIR TABLE tableName ----注意刷新一下元数据如果读不出数据,就是生产和测试环境数据结构有问题了。需要根据建表语句进行比对。生产环境建表语句见:show_create_table.txt...原创 2020-10-27 11:04:18 · 469 阅读 · 0 评论 -
HBase与Hive的对比
1.Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。2.HBase(...原创 2020-03-25 16:53:27 · 197 阅读 · 0 评论 -
Hive的分区字段能否插入到普通字段,普通字段能否插入到分区字段
1、现在新增了一个date类型的新字段值,默认空值,尝试将分区的字段值插入执行以下的语句,将p_pftp_dim_currency表的2019-10-31号的数据插入到p_pftp_dim_currency_jeff中其中data_dt是p_pftp_dim_currency的分区字段,data_date是p_pftp_dim_currency_jeff的普通字段insert o...原创 2020-03-25 15:44:34 · 2289 阅读 · 0 评论 -
Hive的日期处理函数
1)date_format函数(根据格式整理日期)hive (gmall)> select date_format('2019-02-10','yyyy-MM');2019-022)date_add函数(加减日期)hive (gmall)> select date_add('2019-02-10',-1);2019-02-09hive (gmall)> s...原创 2020-01-28 10:16:51 · 258 阅读 · 0 评论 -
Hive的collect_set函数
1)创建原数据表hive (gmall)>drop table if exists stud;create table stud (name string, area string, course string, score int);2)向原数据表中插入数据hive (gmall)>insert into table stud values('zhang3',...原创 2020-01-28 10:15:03 · 1430 阅读 · 0 评论 -
Hive的分区问题以及hdfs映射到Hive的过程
在创建Hive表时,字段分区是一个非常非常容易导致将来遇到问题的一个地方,我们常常将时间日期来作为分区字段。考虑到数据源之间的转换,日期字段作为分区时,不要用date类型!oracle的date类型只支持全格式的数据类型,就是yyyy-MM-dd hh:mm:ss,而Hive则时yyyy-MM-dd,oracle导数据到Hive中,系统会自动截掉后面的时分秒,然而反过来,就不会!!...原创 2019-11-14 14:19:35 · 1753 阅读 · 0 评论 -
使用DBeaver访问Kerberos下的Hive 最强教程
配置 Windows 的 kerberos 认证操作场景本文以安全模式为例,如果使用 FusionInsight 非安全模式进行对接不需要使用 kerberos认证。前提条件已完成 FusionInsight HD V100R002C70SPC200 的安装,包含 KrbServer 组件。配置kerberos认证步骤 1 下载并安装 MIT Kerberos。下载...原创 2019-10-10 11:00:51 · 2820 阅读 · 0 评论 -
Spark读写Hive
有了Spark以后,我们可以在Spark-shell的界面以及 Spark-sql的界面进行我们Hive的读写,我们只需要将Hive的hive-site.xml导入到spark/conf下即可,因为Hive的元数据是储存在MySQL上的,所以我们只需要确保MySQL关联的HIVE数据库是可通的即可,无需安装Hive来进行校验。hive-site.xml需要的内容<?xml v...原创 2019-05-29 14:30:48 · 223 阅读 · 0 评论 -
Hive报错之 Specified key was too long; max key length is 767 bytes
当我遇到这个错误的时候,hive客户端只给了我们一句话如果你拿着这句话去百度,可能你还是找不到最针对的解决办法,有可能你就算解决了,也不知道为什么所以我们要学会去看日志文件,看报错日志Hive的日志文件在/tmp/root下面看了之后再对症下药,这样效率高很多!!!针对我的这个报错,其实是hive数据库编码问题具体的解释和说明请看这个大佬的博客https://...原创 2019-04-18 12:05:15 · 180 阅读 · 0 评论 -
Hive1.1.1CDH5.7.0的remote一体机安装部署
因为我的Hadoop集群是cdh版本的,为了避免遇到不必要的麻烦,所以Hive也要用CDH版本的。先下载一个Hive CDH包 hive-1.1.0-cdh5.7.0.tartar -zxvfhive-1.1.0-cdh5.7.0.tar 将其解压我们的hive元数据是存储在mysql里面的,所以事先要安装一个mysql然后配置环境变量[root@hadoo...原创 2019-04-18 10:14:53 · 145 阅读 · 0 评论 -
Hive之窗口函数
有关开窗函数的一些练习与案例https://blog.csdn.net/wangpei1949/article/details/81437574概念:执行SQL时都会遇到sum()、avg()、max()等等函数,这些函数后面往往需要添加条件,这个时候便引入了窗口函数over()给定一堆数据jack,2015-01-01,10tony,2015-01-02,15jack,2...转载 2019-04-10 16:31:28 · 142 阅读 · 0 评论 -
Hive外部表和内部表的使用场景分别是什么?
要知道Hive外部表和内部表的使用场景,我们就必须先理解他们的区别:Hive在创建表的时候默认是创建内部表,将数据移动到数据仓库指向的路径,而创建外部表(需要加关键字external),仅记录数据所在的路径,不对数据的位置做任何改变;Hive删除表时,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据;①外部表:比如某个公司的原始日志数据存放在一个目录中,多个部...转载 2019-04-04 18:47:31 · 2927 阅读 · 1 评论