![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
cuixiuqin1954
这个作者很懒,什么都没留下…
展开
-
hive函数参考手册
hive函数参考手册原文见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无转载 2013-09-13 13:56:21 · 3947 阅读 · 0 评论 -
hive 去重数据
select a.mer_id,a.goods_id,a.goods_name,a.goods_type,a.serv_type,a.price_mode,a.push_inf,a.mt_num,a.cus_phone,a.goods_desc,a.mod_user,a.mod_time,a.in_time,a.statefrom hf_原创 2013-12-17 20:05:56 · 4244 阅读 · 0 评论 -
sqoop 干什么用
sqoop (发音:skup) 是一种开源工具Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。转载 2015-01-16 18:10:45 · 2232 阅读 · 0 评论 -
利用crontab 调用hive
利用crontab 调用hive时,一定要将hive 的环境路径写成全路径原创 2015-04-10 13:58:21 · 1341 阅读 · 0 评论 -
hive 中的null
今天遇到一个这样的问题:当在sql中写如下时:INSERT OVERWRITE TABLE 表名 partition (version='1.11')selectcase when 条件 then 值 else null endfrom 表名……这时候在插入表对应的hdfs文件中,存储的null值却是\N,但是通过sql查询 可以通过 查询字段 i原创 2015-12-09 15:19:25 · 527 阅读 · 0 评论 -
hive partion 键 关联(join)其他表
hive 表中如果需要用partion键进行关联其他表一定不要写在on中,正确写法要将partion键写在from中例如:insert overwrite table dc_temp1_user_scoreselect a.mobile,nvl(b.prov_des,'其他'),nvl(b.zone_des,'其他')from (select * fro原创 2016-04-08 19:41:07 · 517 阅读 · 0 评论 -
hadoop运行原理之shuffle
本文转自 http://www.cnblogs.com/gwgyk/p/3997849.html感谢原创作者!hadoop的核心思想是MapReduce,但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图,就能了解shuffle所处的位置。图中的partitions、copy phase、sort转载 2016-11-11 11:21:19 · 399 阅读 · 0 评论 -
执行 completebulkload 操作报错
近一段时间从事公司hadoop集群升级工作,将原来hadoop2.3 、hbase0.98 升级到 hadoop2.6 、hbase1.2.升级后发现原来执行的 completebulkload 操作出现问题。现在展示一下报错的内容,和解决的过程源执行脚本 hadoop jar /home/hadoop/cdh5/hadoop-2.6.0-cdh5.10.0/share/h原创 2017-04-13 10:14:49 · 1845 阅读 · 0 评论 -
hive 中的“行”与“列”的转换
本文参考:https://www.cnblogs.com/blogyuhan/p/9274784.htmlhttps://blog.csdn.net/sunnyyoona/article/details/62894761 感谢上述2位原创作者 hive 中的“行”与“列”的转换:--- 行转列desc temp_loan_pzh_out_month_test4;OK...原创 2019-02-26 21:11:34 · 286 阅读 · 0 评论