![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 62
东北F4流星雨
这个作者很懒,什么都没留下…
展开
-
HIVE踩坑——NULL和空字符‘‘串处理
这里我们针对在HIVE中遇到的NULL和空字符串问题进行简单探讨,避免踩坑!!!简单探索首先新建一张测试表test_01,用作后续测试CREATE TABLE IF NOT EXISTS test_01(id INT, name STRING,age INT, score FLOAT)ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’ STORED AS TEXTFILE;新增简单的几条测试数据,具体如下insert overwrite table原创 2021-08-31 16:51:40 · 1526 阅读 · 0 评论 -
在hadoop集群中hadoop102执行xcall.sh jps显示bash: jps: command not found 脚本运行无反应
在hadoop集群中hadoop102执行xcall.sh jps显示bash: jps: command not found我吐了呀,在学习kafka的时候又遇到了一个问题,*币东西的。xcall.sh 的代码如下:#! /bin/bashfor i in hadoop102 hadoop103 hadoop104doecho --------- $i ----------ssh i"i "i"*"done没毛病呀,我前几天都能运行这个脚本查看集群的jps的,大概原因就在昨天我安装kyl原创 2021-05-20 13:44:58 · 764 阅读 · 0 评论 -
hadoop中GroupingComparator分组(辅助排序)
GroupingComparator分组(辅助排序)这里举例说明:需求:由上图结合GroupingComparator分组,我们可以做出这样的分析:需要利用“订单id和成交金额”作为key,可以将Map阶段读取到的所有订单数据按照id升序排序,如果id相同再按照金额降序排序,发送到Reduce。这里商品id无关紧要我们把它去除.接下来我们就定义orderBean:import org.apache.hadoop.io.WritableComparable;import java.io.Da原创 2021-04-16 22:21:18 · 302 阅读 · 0 评论 -
Hadoop中Writable,WritableComparable,WritableComparator之间有什么区别? 先上图大致理解一下
Hadoop中Writable,WritableComparable,WritableComparator之间有什么区别? 先上图大致理解一下这都是什么?一、Writable(接口):其实Java用的是一套重量级的序列化框架(Serializable),一个类实现了序列化之后此类对象会附带各类校验啊、继承体啊、header等额外信息,更多的信息使得此种序列化机制不便于在网络中高效传输,对于本就是用来传输大数据的hadoop框架更不合适 。所以Hadoop使用自己的序列化机制,就是Writable,转载 2021-04-16 19:37:30 · 297 阅读 · 0 评论