赖德发的博客

在服务器端有个com.dsj361.hive.udf.FilterHtmlUdf，如何使用呢、--评论create temporary function filter_html as 'com.dsj361.hive.udf.FilterHtmlUdf';insert overwrite table tempon.tl_dongli_comment_contentselect filte...

问题导读：Hive与Hbase的底层存储是什么？ hive是产生的原因是什么？ habase是为了弥补hadoop的什么缺陷？共同点： 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别： 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你

1、准备工作# 基础准备工作# hivewget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gztar -zxvf apache-hive-1.2.1-bin.tar.gzmv apache-hive-1.2.1-bin /www/hive# 创建/www/hive的软连接/opt

一、需求分析 1: 有一个极小的表 2: 需要做不等值join操作（a.x 这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误 如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~二、mapjoin的计算原理 MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配。这种情

拿一个例子来说 数据集：cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1url3 cookie1,2015-04-10 10:50:05,url6 cookie1,2015-04-10 11:00:00,url7 cookie1,2...

方法1: from_unixtime+ unix_timestamp--20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyymmdd'),'yyyy-mm-dd') from dual;--2017-12-05转成20171205select from_unixtime(unix_timesta...

1、to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-022、from_unixtime：转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出：201112083、unix_timestamp：获取当前unix时...

# 下载hdfs dfs -getmerge /user/hive/warehouse/tempon.db/tl_text_center /home/admin/t1_subject.txt# 建外部表drop table tempon.text_anti_brush_infocreate external table if not exists tempon.text_an...