![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
水袖怀颜
本人长期从事JAVA开发,大数据开发,并对此深感兴趣,对JAVA,大数据有一定自己的开发与见解,欢迎全国各地的朋友一起探讨。
展开
-
Hive 自定义函数函数
使用内置的函数无法完成分析任务,那么需要写自定义函数show functions; //查看自带的所有的内置函数desc function upper; //查看具体的某个函数的用法desc function extended upper; //带有具体案例##分三类 ## UDF 一进一出 处理原文件内容某些字段包含 [] ""原创 2017-03-13 07:27:19 · 1532 阅读 · 0 评论 -
hadoop伪分布式环境apache版本切换为CDH
1.在/opt/modules下创建一个cdh空目录$ mkdir cdh //cdh版本的hadoop, hive,sqoop安装在此目录下2.解压cdh版本的hadoop,hive,sqoop$ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh$ tar -zxf hive-0.13.1-cdh5.3原创 2017-03-13 07:32:47 · 477 阅读 · 0 评论 -
Hive环境配置
进入$HIVE_HOME/conf/修改文件cp hive-env.sh.template hive-env.shcp hive-default.xml.template hive-site.xml修改$HIVE_HOME/conf/的hive-env.sh,增加以下三行export JAVA_HOME=/opt/modules/jdk1.7.0_45原创 2017-03-13 07:34:44 · 214 阅读 · 0 评论 -
Sqoop使用和简介
Sqoop 工具是Hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于每天产生的数据量不是很大的情形可以全表导入,但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令,以及一转载 2017-03-13 07:42:53 · 244 阅读 · 0 评论