程裕强的专栏

大数据学习笔记(1.01^365=37.78,0.99^365=0.025)

Hadoop基础教程-第6章 MapReduce入门(6.4 MapReduce程序框架)(草稿)

第6章 MapReduce6.4 MapReduce程序框架6.4.1 模版框架我们知道,从单线程编程到多线程编程,程序结构复杂度增大了。类似的,从单机程序到分布式程序,程序结构的复杂度也增大了。这是问题的复杂环境决定的。 所以,很多初学者更接触分布式编程时,望而却步、知难而退了。可事实上,Ha...

2017-05-29 21:21:46

阅读数 2429

评论数 0

Hadoop基础教程-第6章 MapReduce入门(6.3 加速WordCount)(草稿)

第6章 MapReduce6.3 加速WordCount6.3.1 问题分析 MapReduce的性能很大程度受限于网络宽带,当map输出中间结果很大时,然后通过网络将中间结果传递给reduce方法,这时MapReduce的性能较差。 通过对WordCount程序分析,大家可能已经发现其中存在一个...

2017-05-29 16:59:23

阅读数 1454

评论数 0

Hadoop基础教程-第6章 MapReduce入门(6.2 解读WordCount)(草稿)

第6章 MapReduce入门6.2 解读WordCountWordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析,我们可以了解MapReduce程序的基本结构和执行过程。6.2.1 WordCount设计思路WordCount程序很好的体现了Map...

2017-05-28 17:50:08

阅读数 2234

评论数 0

Hadoop基础教程-第6章 MapReduce入门(6.1 MapReduce介绍)(草稿)

第6章 MapReduce6.1 MapReduce介绍本节将介绍Hadoop的分布式计算框架:MapReduce。6.1.1 MapReduce来历MapReduce最早来源于谷歌公司的一篇学术论文,是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法,当时主要是为了解决其搜...

2017-05-27 20:43:47

阅读数 2018

评论数 0

Hadoop基础教程-第5章 YARN:资源调度平台(5.6 YARN的命令)(草稿)

[root@node1 ~]# yarn Usage: yarn [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or ...

2017-05-26 20:59:50

阅读数 2054

评论数 1

Hadoop基础教程-第5章 YARN:资源调度平台(5.5 YARN的调度器)(草稿)

第5章 YARN:资源调度平台 5.5 YARN的调度器 打个比方,Hadoop相当于一台虚拟计算机(由多台计算机构造的集群),那么HDFS就是这台虚拟计算机的文件系统,管理磁盘资源;而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序(比如5.4节跑的P...

2017-05-23 23:10:38

阅读数 1003

评论数 0

Hadoop基础教程-第5章 YARN:资源调度平台(5.4 YARN集群运行)(草稿)

第5章 YARN:资源调度平台5.4 YARN集群运行HDFS已经启动[root@node1 ~]# jps 2247 NameNode 2584 Jps 2348 DataNode[root@node2 ~]# jps 2279 Jps 2137 DataNode 2201 SecondaryN...

2017-05-23 20:57:57

阅读数 1139

评论数 0

Hadoop基础教程-第5章 YARN:资源调度平台(5.3 YARN集群配置)(草稿)

第5章 YARN:资源调度平台5.3 YARN集群配置5.3.1 yarn-site.xml<?xml version="1.0" ?> <configuration> <property> <name>yarn.sc...

2017-05-23 18:46:31

阅读数 1256

评论数 0

Hadoop基础教程-第5章 YARN:资源调度平台(5.2 YARN参数解读与调优)

第5章 YARN:资源调度平台5.2 YARN参数解读与调优yarn-site.xml文件默认参数: http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml5.2.1 Resourc...

2017-05-23 15:39:40

阅读数 1110

评论数 0

Hadoop基础教程-第5章 YARN:资源调度平台(5.1 YARN介绍)(草稿)

第5章 YARN:资源调度平台5.1 YARN介绍YARN的全称是Yet Another Resource Negotiator,意为另一种资源调度者。 从Apache Hadoop 2.0开始, Hadoop包含 YARNYARN的基本思想是将资源管理和作业调度/监控的功能分为独立的守护进程...

2017-05-21 22:08:27

阅读数 1933

评论数 0

Hadoop基础教程-第4章 HDFS的Java API(4.7 Java API封装类)(草稿)

第4章 HDFS的Java API4.7 Java API封装类package cn.hadron.hdfsDemo;import java.io.IOException; import java.io.InputStream; import java.net.URI; import java.n...

2017-05-21 21:25:15

阅读数 1481

评论数 1

Hadoop基础教程-第4章 HDFS的Java API(4.6 Java API应用)(草稿)

第4章 HDFS的Java API4.6 Java API应用4.6.1 上传文件先在本地(客户端)一个文件,比如在D盘下新建一个word2.txt文件,内容随便写test node node Hadoop Hadoop在Eclipse中编写Java程序package cn.hadron.hdfs...

2017-05-20 09:39:16

阅读数 1331

评论数 0

Hadoop基础教程-第4章 HDFS的Java API(4.5 Java API介绍)

第4章 HDFS的Java API4.5 Java API介绍4.5.1 Java API 官网Hadoop 2.7.3 Java API官方地址 http://hadoop.apache.org/docs/r2.7.3/api/index.html 如上图所示,Java API页面分为了三部...

2017-05-18 22:50:34

阅读数 1155

评论数 0

Hadoop基础教程-第4章 HDFS的Java API(4.4 Windows+Eclipse+HDFS快速入门)

第4章 HDFS的Java API4.4 Java 读取HDFS文件前面4.1到4.3节的准备工作,本节正式进入HDFS的Java API 部分4.4.1 数据准备通过HDFS 命令方式将本地words.txt文件上传到HDFS上[root@node1 ~]# hdfs dfs -put /roo...

2017-05-17 22:44:25

阅读数 1660

评论数 6

Hadoop基础教程-第4章 HDFS的Java API(4.3 pom.xml解析)

第4章 HDFS的Java API4.3 pom.xml解析4.3.1 Maven库https://mvnrepository.com/4.3.2 添加Hadoop的依赖在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs...

2017-05-16 22:54:05

阅读数 2953

评论数 0

Hadoop基础教程-第4章 HDFS的Java API(4.2 Eclipse+Maven)

第4章 HDFS的Java API4.2 Eclipse+Maven4.2.1 Eclipse的Maven配置目前的eclipse-javee版本已经自带maven插件了 winows–&gt;preferences–&gt;左边maven 在Maven下选择“Install...

2017-05-15 21:59:11

阅读数 1374

评论数 3

Hadoop基础教程-第4章 HDFS的Java API(4.1 Maven入门)

第4章 HDFS的Java API 4.1 Maven入门 参考文章:https://my.oschina.net/huangyong/blog/194583 4.1.1 Maven简介 Apache Maven是一个软件项目管理和综合工具,通过它便捷的管理项目的生命周期。即项目的...

2017-05-14 21:51:45

阅读数 3197

评论数 0

Hadoop基础教程-第3章 HDFS:分布式文件系统(3.5 HDFS基本命令)(草稿)

第3章 HDFS:分布式文件系统3.5 HDFS基本命令HDFS命令官方文档: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html3.5.1 用法[root@node1 ~]...

2017-05-14 21:42:19

阅读数 1157

评论数 0

Hadoop基础教程-第3章 HDFS:分布式文件系统(3.4 HDFS集群模式)

第3章 HDFS:分布式文件系统 3.4 HDFS集群模式 节点 IP 角色 node1 192.168.80.131 NameNode,DataNode node2 192.168.80.132 SecondaryNameNode,Da...

2017-05-14 19:55:33

阅读数 1551

评论数 11

Hadoop基础教程-第3章 HDFS:分布式文件系统(3.3 HDFS参数解读)

第3章 HDFS:分布式文件系统3.3 HDFS参数解读3.3.1 官方文档Hadoop官方文档地址: http://hadoop.apache.org/docs/r2.7.3/由于Hadoop相关参数页面需要通过FireFox浏览器打开,这里需要你先安装FireFox浏览器。下拉页面,可以在页...

2017-05-14 17:19:34

阅读数 1248

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭