2017年08月_风行天下Num1

10月 09月 08月 07月 05月 04月

原创 hadoop初识之十：mapreduce编程模型与数据传输格式

--==========mapreduce编程模型：分而治之的思想============================================ => 是分布式计算模型，解决海量数据的计算问题map => mapreduce将整个并行计算过程抽象到两个函数 map映射：对每一部分数据进行处理，核心部分，高度并行输入数据格式解析输入数据处理

2017-08-16 22:51:05 396

原创 hadoop初识之九：Yarn组织架构，对资源的管理，以及以yarn为核心的生态系统

--==========Yarn组织架构============================================ =>ResourceManager * 全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配 * 功能处理客户端请求启动、监控ApplicationMaster 监控NodeM

2017-08-16 22:27:44 320

原创 hadoop初识之八：NameNode 启动过程和secondaryNameNode 作用

--=========NameNode启动过程====================NameNode数据存放在 =》内存 =》本地磁盘 * fsimage:镜像文件（格式化HDFS时生成） * edits：编辑日志文件，存储元数据的变化信息过程1:第一次启动HDFS =>format HDFS =>生成fsimage =>st

2017-08-15 22:00:49 400

原创 hadoop初识之七：linux 中eclipse 读写HDFS文件

/opt/tools/workspace/npl_hdfs/src/main/java/com/npl/hadoop/senier/hdfs--==================添加hadoop jar 包======================== =》pom.xml配置以下两项，hadoop jar包会自动添加到工程中【Maven Dependencies】中

2017-08-15 21:36:07 739

原创 hadoop初识之六：HDFS架构及linux下eclipse环境的准备

--==================HDFS架构======================== =》Hadoop Distributed File SYSTEM * 易于扩展的分布式文件系统 * 运行在大量廉价机器上，提供容错机制 * 提供文件存取服务 =》namenode 负责管理文件系统的命名空间，负责操作元数据

2017-08-08 22:03:40 262

原创 hadoop初识之五：hadoop启动方式、机器上必须的配置、本地native库配置、及hadoop编译

2017-08-06 23:03:37 415

原创 hadoop初识之四：HDFS、Yarn及mapreduce 回顾，配置文件的补充及yarn日志聚集功能配置

--Hadoop2.x =>common =>HDFS 存储数据NameNode:存储文件系统的元数据，命名空间namesapceDataNode:存储数据SecondaryNameNode:输助NameNode工作，合并两个文件（定时周期性的合并） =>YARN:Hadoop的操作系统,Data操作系统 Container:隔离资源Resou

2017-08-05 16:47:00 298

原创 hadoop初识之三：搭建hadoop环境（配置HDFS，Yarn及mapreduce 运行在yarn）上及三种运行模式（本地模式，伪分布式和分布式介）

--===============安装jdk（解压版）==================--root 用户登录--建立文件层级目录 /opt下分别建 modules/softwares/datas/tools 文件夹--查看是否安装jdk rpm -qa|grep java--缷载系统自带的jdk:nodeps是忽略依赖，强制缷载 rpm -e --no

2017-08-04 07:14:51 1274

jsonstraps

是jQuery封装的一款软件，主要用来进行页面javascript的操作。

2014-08-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人