- 博客(10)
- 收藏
- 关注
原创 FreeMarker系列--FreeMarker入门
1 FreeMarker简介关于FreeMarker的定义,官方文档是这样定义的: FreeMarker 是一款模板引擎: 即一种基于模板和要改变的数据, 并用来生成输出文本(HTML网页,电子邮件,配置文件,源代码等)的通用工具。 它不是面向最终用户的,而是一个Java类库,是一款程序员可以嵌入他们所开发产品的组件。2 FreeMarker的优势相比较于PHP等开发语言,FreeMarker
2017-08-30 22:13:41 475
原创 Hadoop系列--Hadoop核心之MapReduce的原理
1 MapReduce核心原理 “分而治之,并行计算”是MapReduce的核心原理,其实也是大数据处理的中心思想。1.1 分而治之 在MapReduce中,分而治之,就是, 一个任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。1.2 并行计算 在任务分配完之后,每个子任务平行执行,彼此之间是互不影响的,也就是并行计算,具体的子任务可以按照具体的标准进行。
2017-08-12 18:25:28 1420
原创 Hadoop系列--Hadoop自带程序wordcount运行示例
1 准备工作 先启动Hadoop。 1.格式化HDFS bin/hadoop namenode -format2.启动Hadoop bin/start-all.sh3.验证是否完全启动 使用jps命令,若显示出六项进程的状态,则说明启动成功。2 运行步骤1.建立检测文件夹file 在适当位置创建一个文件夹file,并创建两个待检测的文件。 例如,我在$HAD
2017-08-11 20:34:37 1695
原创 Hadoop系列--datanode无法启动及Incompatible namespaceIDs问题的解决
1 问题描述 使用jps命令查看Hadoop进程启动情况,发现datanode总是启动不起来。查看log,如下: 2017-08-11 14:46:04,213 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /hadoop/dat
2017-08-11 16:30:14 478
原创 Hadoop系列--Hadoop基本架构之MapReduce架构
1 MapReduce架构的组件组成1.1 组件组成 Hadoop的MapReduce架构主要由以下几个组件组成:Client、JobTracker、TaskTracker、Task。1.2 MapReduce架构图 如下图所示。 2 各组件详解1.Client 用户编写的MapReduce程序通过Client提交到JobTracker。 2.JobTracker 参照上图。
2017-08-08 21:02:04 800
原创 Hadoop系列--Hadoop再安装
1 安装步骤简介1.1 前言 讲真,上次的Hadoop的安装实际上是失败的,正应了那句话,Hadoop的学习是有一定的门槛的,从Hadoop的安装就可见一斑。 最近看了一些关于Hadoop的理论知识,对Hadoop的理解更进了一步,便决定重新安装一次Hadoop。1.2 安装大体步骤 因为Hadoop是Java语言开发的,所以必然需要Java的运行环境,那么就需要配置JDK,鉴于开发的效率
2017-08-08 16:08:35 1387
原创 Java8系列--Java Stream进阶篇(collector、collectors、colltect的关系)
1 java.util.stream包结构图 承接上篇博文,下面讲解一下在收集器中用到的collector、collectors、collect三者之间的关系。 下图为java.util.stream包的结构图。 2 collector、collectors、collect的关系2.1 collector接口 对于Reduce操作的抽象。此接口中定义了常用的Reduce操作。
2017-08-07 18:26:51 2546
原创 Java8系列--Java Stream进阶篇(收集器简介)
1 收集器简介1.1 个人定义 下面是个人总结的关于收集器的定义: 在Lambda表达式的基础上,调用collect()接口,使用Collector类提供的方法,将流中的元素累积成一个汇总结果。1.2 收集器讲解 通过之前的学习我们了解到,流可以用类似于数据库的操作来处理集合,因此,我们可以将流看作对数据处理的“迭代器”。流支持两种类型的操作:中间操作(filter、map)和终端操作(c
2017-08-07 16:12:43 2314
原创 Hadoop系列--Hadoop基本架构之HDFS架构
1 Hadoop基本架构Hadoop由两部分组成,分别是分布式文件系统HDFS和分布式计算框架MapReduce。 在Hadoop中,MapReduce底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单的配置后,存储在该文件系统上的数据便可以被MapReduce处理。 Hadoop默认使用的分布式文件系统是HDFS(Hadoop Distrib
2017-08-04 20:26:37 1332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人