2017年08月_高自强的博客

原创 FreeMarker系列--FreeMarker入门

1 FreeMarker简介关于FreeMarker的定义，官方文档是这样定义的： FreeMarker 是一款模板引擎：即一种基于模板和要改变的数据，并用来生成输出文本(HTML网页，电子邮件，配置文件，源代码等)的通用工具。它不是面向最终用户的，而是一个Java类库，是一款程序员可以嵌入他们所开发产品的组件。2 FreeMarker的优势相比较于PHP等开发语言，FreeMarker

2017-08-30 22:13:41 475

原创 Hadoop系列－－Hadoop核心之MapReduce的原理

1 MapReduce核心原理　　“分而治之，并行计算”是MapReduce的核心原理，其实也是大数据处理的中心思想。1.1 分而治之　　在MapReduce中，分而治之，就是，　　一个任务分成多个小的子任务(map)，并行执行后，合并结果(reduce)。1.2 并行计算　　在任务分配完之后，每个子任务平行执行，彼此之间是互不影响的，也就是并行计算，具体的子任务可以按照具体的标准进行。

2017-08-12 18:25:28 1420

原创 Hadoop系列－－Hadoop核心之MapReduce作业的生命周期

1 执行过程图解2 步骤详解

2017-08-12 16:13:16 551

原创 Hadoop系列－－Hadoop自带程序wordcount运行示例

1 准备工作　　先启动Hadoop。 1.格式化HDFS 　　 bin/hadoop namenode -format2.启动Hadoop bin/start-all.sh3.验证是否完全启动　　使用jps命令，若显示出六项进程的状态，则说明启动成功。2 运行步骤1.建立检测文件夹file 　　在适当位置创建一个文件夹file，并创建两个待检测的文件。　　例如，我在$HAD

2017-08-11 20:34:37 1694

原创 Hadoop系列－－datanode无法启动及Incompatible namespaceIDs问题的解决

1 问题描述　　使用jps命令查看Hadoop进程启动情况，发现datanode总是启动不起来。查看log，如下：　　2017-08-11 14:46:04,213 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /hadoop/dat

2017-08-11 16:30:14 478

原创 Hadoop系列－－Hadoop基本架构之MapReduce架构

1 MapReduce架构的组件组成1.1 组件组成　　Hadoop的MapReduce架构主要由以下几个组件组成：Client、JobTracker、TaskTracker、Task。1.2 MapReduce架构图　　如下图所示。　　2 各组件详解1.Client 　　用户编写的MapReduce程序通过Client提交到JobTracker。 2.JobTracker 　　参照上图。

2017-08-08 21:02:04 800

原创 Hadoop系列－－Hadoop再安装

1 安装步骤简介1.1 前言　　讲真，上次的Hadoop的安装实际上是失败的，正应了那句话，Hadoop的学习是有一定的门槛的，从Hadoop的安装就可见一斑。　　最近看了一些关于Hadoop的理论知识，对Hadoop的理解更进了一步，便决定重新安装一次Hadoop。1.2 安装大体步骤　　因为Hadoop是Java语言开发的，所以必然需要Java的运行环境，那么就需要配置JDK，鉴于开发的效率

2017-08-08 16:08:35 1387

原创 Java8系列--Java Stream进阶篇（collector、collectors、colltect的关系）

1 java.util.stream包结构图　　承接上篇博文，下面讲解一下在收集器中用到的collector、collectors、collect三者之间的关系。　　下图为java.util.stream包的结构图。　　2 collector、collectors、collect的关系2.1 collector接口　　对于Reduce操作的抽象。此接口中定义了常用的Reduce操作。

2017-08-07 18:26:51 2545

原创 Java8系列--Java Stream进阶篇（收集器简介）

1 收集器简介1.1 个人定义　　下面是个人总结的关于收集器的定义：在Lambda表达式的基础上，调用collect()接口，使用Collector类提供的方法，将流中的元素累积成一个汇总结果。1.2 收集器讲解　　通过之前的学习我们了解到，流可以用类似于数据库的操作来处理集合，因此，我们可以将流看作对数据处理的“迭代器”。流支持两种类型的操作：中间操作（filter、map）和终端操作（c

2017-08-07 16:12:43 2314

原创 Hadoop系列--Hadoop基本架构之HDFS架构

1 Hadoop基本架构Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件系统上的数据便可以被MapReduce处理。 Hadoop默认使用的分布式文件系统是HDFS（Hadoop Distrib

2017-08-04 20:26:37 1331

高自强的博客