![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
#Hive
xxydzyr
愿有岁月可回首,且以深情共白头!@猪头
展开
-
Hive安装部署
Hive安装部署博客资源:Hive的安装包和源码包:链接:https://pan.baidu.com/s/13xvIMzJ69PZUJ75Eo11cHQ提取码:olnlHive连接MySQL的驱动:链接:https://pan.baidu.com/s/1eNiSY_GBRh6s-x-atbNlGw提取码:cfdxHive 安装前需要安装好 JDK 和 Hadoop。配置好环境变量。...原创 2019-09-17 08:48:13 · 529 阅读 · 0 评论 -
Hive创建UDTF函数
Hive创建UDTF函数文章目录Hive创建UDTF函数参考:这部分不知道建一个什么样的函数,就照着网上的来了,所以就不写其他东西了package com.chinasofti.hive.udf;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.exec...转载 2019-09-18 10:40:22 · 327 阅读 · 0 评论 -
Hive创建UDAF函数
Hive创建UDAF函数文章目录Hive创建UDAF函数1. 在之前的maven工程上重新创建一个java类2. 将写好的程序打包3. 上传至Linux系统上4. 连接上Hive5. 使用命令,将jar包添加进Hive中6. 创建一个临时函数与添加进来的jar包进行关联7. 测试一下参考:1. 在之前的maven工程上重新创建一个java类package com.chinasofti.hiv...原创 2019-09-18 10:39:19 · 1165 阅读 · 0 评论 -
Hive创建自定义GenericUDF函数
Hive创建自定义GenericUDF函数文章目录Hive创建自定义GenericUDF函数本文需要了解的几个点:1. 在之前的maven工程上重新创建一个java类2. 将写好的程序打包3. 上传至Linux系统上4. 连接上Hive5. 使用命令,将jar包添加进Hive中6. 创建一个临时函数与添加进来的jar包进行关联7. 测试一下参考:本文需要了解的几个点:ObjectInsp...原创 2019-09-18 10:35:58 · 2229 阅读 · 0 评论 -
Hive创建自定义UDF函数
Hive创建自定义UDF函数文章目录Hive创建自定义UDF函数博客资源:1. 首先打开IDEA,创建一个maven项目2. 导入所需要的依赖3. 创建一个包来存储相关的类4. 写一个 java 类,继承 UDF,并重载 evaluate 方法5. 将写好的程序打包6. 上传至Linux系统上7. 连接上Hive8. 使用命令,将jar包添加进Hive中9. 创建一个临时函数与添加进来的jar包...原创 2019-09-18 10:33:18 · 1245 阅读 · 1 评论 -
Hive索引
Hive索引文章目录Hive索引Compact索引Aggregation索引Bitmap索引Compact索引CREATE INDEX idx_xxx ON TABLE xxx(tablename) AS 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' WITH DEFERRED REBUILD;使用 show ...原创 2019-09-18 10:30:04 · 280 阅读 · 0 评论 -
Hive 参数配置
Hive 参数配置1. Hive 命令行直接输入 $HIVE_HOME/bin/hive 会进入Hive的shell客户端交互窗口。输入$HIVE_HOME/bin/hive –H或者 –help可以显示帮助选项:说明:-i 初始化 HQL 文件。-e 从命令行执行指定的 HQL-f 执行 HQL 脚本-v 输出执行的 HQL 语句到控制台-p <port> con...原创 2019-09-18 10:28:21 · 254 阅读 · 0 评论 -
Hive中文乱码解决
Hive中文乱码解决在练习Hivesql语句时,发现中文插入乱码。首先查看文件的编码格式使用命令:cd /export/data/hivedata/ 进入数据存储位置然后使用命令:file t_map.txt发现文件编码格式时UTF-8 ,所以不是文件编码格式问题。查看MySQL的编码格式先使用命令mysql -uroot -p ,然后输入密码,进入MySQL;使用命令:show...原创 2019-09-17 09:04:56 · 4877 阅读 · 0 评论 -
Hive练习
Hive练习文章目录Hive练习博客资源:创建表创建分区表创建单分区表创建多个分区表创建分桶表开启分桶功能创建分桶表映射数据:多重插入:动态分区Hive数据导出Hive的本地模式博客资源:一些自己编造的数据,还有一个从朋友那里获取到的数据,随意玩玩。当前下面练习描述中我会用到。链接:https://pan.baidu.com/s/15Ix8wlQ5zQOEB6Q-7mW9yA提取码:z7...原创 2019-09-17 09:01:21 · 412 阅读 · 0 评论 -
Hive的基本操作
Hive的基本操作1. DDL 操作1.1. 创建表建表语法:CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_typ...原创 2019-09-17 08:55:40 · 325 阅读 · 0 评论 -
Hive表与内部数据的映射关系
Hive表与内部数据的映射关系1. 在练习Hive之前,先创建一个文件夹来存放Hive的练习数据。命令:cd /export/data/ ,然后创建对应文件夹: mkdir hivedata2. 进入hivedata文件夹,创建一个名为1.txt 的文件,将如下数据复制进去。1,allen,182,jack,283,rose,204,lucy,103. 然后将文件上传值HDF...原创 2019-09-17 08:53:21 · 2616 阅读 · 0 评论 -
Hive的几种启动方式
Hive的几种启动方式A. shell客户端启动使用命令:/export/server/hive/bin/hive 直接启动。B. 远程访问Hiveshell客户端启动只能启动本机上的Hive,如果要在别的客户端上启动,就不能使用这个方式,所以这里提供一种远程访问的启动方式。1. 在Hive的bin目录下可以启动一个服务器来接受远程服务。进入Hive的安装目录,使用命令:bin/hi...原创 2019-09-17 08:50:31 · 10376 阅读 · 0 评论 -
kettle连接Hive操作
kettle连接Hive操作文章目录kettle连接Hive操作从Hive中下载数据到excel中向Hive中写入数据通过Hadoopcopyfiles作业组件把数据加载到hive数据库中执行Hive的SQL语句从Hive中下载数据到excel中拉出表输入步骤,然后创建一个新的数据库连接,连接上Hive。这里第一次连接时报错,怀疑是Hive没启动,后面在node-1上运行hive发现...原创 2019-10-08 15:29:25 · 6366 阅读 · 1 评论