关注
分享
东华果汁哥
大家好！我叫赖德发，欢迎您来到我的博客。
展开
-
【hive 数据查询下载】hue UDF 使用方法以及下载数据到服务器
在服务器端有个com.dsj361.hive.udf.FilterHtmlUdf，如何使用呢、--评论create temporary function filter_html as 'com.dsj361.hive.udf.FilterHtmlUdf';insert overwrite table tempon.tl_dongli_comment_contentselect filte...原创 2019-11-07 10:38:18 · 447 阅读 · 0 评论 -
【Hive Hbase】Hbase与Hive的区别与联系
问题导读：Hive与Hbase的底层存储是什么？ hive是产生的原因是什么？ habase是为了弥补hadoop的什么缺陷？共同点： 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别： 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你原创 2017-07-07 11:11:02 · 1802 阅读 · 0 评论 -
【hive 安装】Hive1.2.1_HA集群部署安装
1、准备工作# 基础准备工作# hivewget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gztar -zxvf apache-hive-1.2.1-bin.tar.gzmv apache-hive-1.2.1-bin /www/hive# 创建/www/hive的软连接/opt原创 2018-01-09 13:54:38 · 1029 阅读 · 0 评论 -
【hive 非等值连接】Hive 中 Map Join 的适用场景：非等值连接
一、需求分析 1: 有一个极小的表 2: 需要做不等值join操作（a.x 这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误 如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~二、mapjoin的计算原理 MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配。这种情原创 2018-01-09 14:06:07 · 1978 阅读 · 0 评论 -
【hive 函数】Hive分析函数和窗口函数
拿一个例子来说 数据集：cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1url3 cookie1,2015-04-10 10:50:05,url6 cookie1,2015-04-10 11:00:00,url7 cookie1,2...原创 2018-04-03 11:17:28 · 488 阅读 · 0 评论 -
【hive 日期转换】Hive中yyyymmdd和yyyy-mm-dd日期之间的切换
方法1: from_unixtime+ unix_timestamp--20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyymmdd'),'yyyy-mm-dd') from dual;--2017-12-05转成20171205select from_unixtime(unix_timesta...原创 2018-04-24 17:47:03 · 77254 阅读 · 11 评论 -
【hive 日期函数】Hive常用日期函数整理
1、to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-022、from_unixtime：转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出：201112083、unix_timestamp：获取当前unix时...原创 2018-05-25 12:17:05 · 73023 阅读 · 1 评论 -
【hdfs 常用命令】数据put到hdfs
# 下载hdfs dfs -getmerge /user/hive/warehouse/tempon.db/tl_text_center /home/admin/t1_subject.txt# 建外部表drop table tempon.text_anti_brush_infocreate external table if not exists tempon.text_an...原创 2019-05-23 15:56:37 · 20715 阅读 · 0 评论