![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
qq_42506914
这个作者很懒,什么都没留下…
展开
-
yarn工作流程
ResourceManager RMNodeManager NMApplicationMaster AM1、Mr程序提交到客户机所在的节点,会根据配置来决定是本地运行还是yran运行。2、yarn运行的话,它会向RM发起请求,RM返回Job的工作目录和id3、客户机把Job运行所需的资源提交上去,job.split job.xml jar包4、资源提交完毕后,客户机向RM...原创 2019-01-10 20:15:17 · 369 阅读 · 0 评论 -
hive 安装mysql,启动hive异常和建表时候异常
一、启动hive异常java.sql.SQLException: Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging...原创 2019-01-14 16:44:14 · 415 阅读 · 0 评论 -
hadoop读取文本格式的问题(读取缓存文件)
定义缓存文件01 小米02 华为03 格力文件名pd.txtdriver 里面添加缓存文件夹路径 job.addCacheFile(new URI("file:///c:/gao/pd.txt"));在Mapper中setup()方法中读取文件 并存到一个Map中 Map<String,String> pdMap = new Ha...原创 2019-01-09 17:04:25 · 796 阅读 · 2 评论 -
MapReduce中一次reduce方法的调用中key的值不断变化分析及源码解析
今天练习了案例GroupingComparator问题是reduce方法里面只输出一次,输出的是对应的最大的,public class GroupReducer extends Reducer<OrderBean, NullWritable,OrderBean, NullWritable> { @Override protected void reduce...原创 2019-01-08 19:15:41 · 402 阅读 · 0 评论 -
hadoop关于reduce方法里面迭代value问题
reducejoin 案例其中需要在reduce方法里面遍历 value 并保存在一个集合里面public class ReduceJoinReducer extends Reducer<IntWritable,OrderDetailBean,OrderDetailBean, NullWritable> { @Override protected void...原创 2019-01-09 18:39:53 · 672 阅读 · 0 评论 -
数仓项目kafka-hdfs
## 组件a1.sources=r1 r2a1.channels=c1 c2a1.sinks=k1 k2## source1a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.batchSize = 5000a1.sources.r1.batchDurationMillis = 2...原创 2019-03-28 09:08:08 · 485 阅读 · 0 评论