![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
枫火燕归林
想为自己留下点什么,记录我的工作,学习,生活
展开
-
Hive 的安装部署和测试
Hive的安装Hive安装需求 根据hive安装的需求: hive1.2需求1.7+的jdk版本 hive0.14-1.1 需求1.6+的jdk版本 (preferred)hadoop2.0+的版本Hive安装环境准备jdk 1.7+版本准备hive安装包(可以去官网下载)hadoop2.5版本 hive各版本下载地址 Hive的安装步骤解压hive的文件安装包到指定文件夹tar原创 2016-03-02 12:20:31 · 1209 阅读 · 0 评论 -
倒排索引
概念倒排索引:倒排索引是文档检索系统中最常用到的数据结果,应用于搜索引擎,根据内容来查找文档的一种方式。进行相反的操作,因称为倒排索引; 简单理解就是根据单词,返回它在哪个文件中出现过,而且频率是多少的结果设计思路Map过程在Map端 把需要处理的文档上传到hdfs时,输入的文件被处理,得到文件中每一行的偏移量和这一行内容的键值对<偏移量,内容>做为map的输入。得到索引中需要的信息:单词,文档原创 2016-03-04 14:15:29 · 780 阅读 · 0 评论 -
Hive 表加载,导出和查询
Hive表的数据加载加载本地文件到数据表$ local data local inpath '/../../.' into table table_name;加载hdfs文件到hive表$ load data inpath '/load_students' into student_load_hdfs;覆盖表中所有数据overwrite 关键字$ local data local inpath '/原创 2016-03-10 18:21:55 · 846 阅读 · 0 评论 -
HIVE自定义函数类型
编写代码package UDF.UDFS_CLASS;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class UDFS extends UDF {public Text evaluate(T原创 2016-03-12 15:34:39 · 747 阅读 · 0 评论 -
Hive部署UDF方式
Hive 支持自定义函数 UDF 一般在开发了hive的udf函数的jar文件后,需要将jar文件放入hive的环境中才可以使用第一种 add jar命令:使用 基本的add jar path 命令 的方法加入,但是这样的方法属于一次性的,当退出客户端时就会失效第二种 修改配置文件修改hive-site.xml 配置文件 , 增加 hive.aux.jars.path 的参数,参数为udf j原创 2016-12-21 11:43:12 · 730 阅读 · 0 评论