Java和算法学习的博客

目录一、Hadoop1.X二、Hadoop2.X1、模型2、实现（架构 / 框架）3、MapReduce运行：MapReduce On Yarn结论一、Hadoop1.X从Hadoop1.X中出现的缺点就可以知道，为啥会有Yarn的出现1、JobTracker：资源管理、任务调度2、TaskTracker：任务管理、资源汇报3、Client：（1）会根据每次的计算数据，咨询NameNode元数据（block），计算split，得到一个切片【清单】，map的数量就有了。split是逻辑的，bl

一、为啥叫MapReduce首先解释为啥叫MapReduce，MapReduce名字的起源可以追溯到谷歌2004年的一篇论文《MapReduce:Simplified Data Processing on Large Clusters》 ，论文题目就是MapReduce，而在Hadoop中连名字都没有修改。1、Map：以一条记录为单位做映射。映射、变换、过滤；1 进N 出2、Reduce：以一组为单位做计算。分解、缩小、归纳；1 组进N 出二、MapReduce的原理上图左边即是Map的过程，右

目录一、pom文件二、测试类三、注意点一、pom文件最少依赖如下： <!--hadoop--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</vers

1、ZooKeeperRegistry.getClusterId --> ClusterId read in ZooKeeper is null解决办法：在设置HBaseConfiguration处添加以下配置configuration.set(“zookeeper.znode.parent”, “/hbase-unsecure”);2、java.net.UnknownHostException: unknown host: master按以上配置好后，发现还是有问题解决办法：在C

echo ‘sc.getConf.get(“spark.home”)’ | spark-shellscala> sc.getConf.get(“spark.home”)res0: String = /usr/hdp/current/spark2-client所以Spark Home为： /usr/hdp/current/spark2-client

如图，在用yarn提交spark任务时出现java.lang.AbstractMethodError: xxx$1.call(Ljava/lang/Object;)Ljava/util/Iterator;的异常。1.修改前的pom文件 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10<.

如何在某个时间间隔内统计某个时间窗口的数据的最大值和最小值，要求是能够一次性查找出来，不通过两次。 @Override public DataStream<StructuredRecord> transform(FlinkExecutionPluginContext context, DataStream<Object> input) { return input .flatMap(new FlatMapFunction