2018年05月_ysjh0014

原创并行计算框架Mapreduce简介

hadoop的三个组件，先有mapreduce(分布式计算模型)，后有hdfs,知道hadoop才有了yarn，因此掌握mapreduce很有必要，虽然现在都是使用流式处理框架，如storm,spark等，但是这几种框架的思想及原理都来源于mapreduceMapreduce: 思想:分而治之：map(映射)--->对每一部分的数据进行处理,可以高度并行(最核心的部...

2018-05-31 13:18:15 2701

*资源调度和资源隔离是yarn作为一个资源管理系统，最重要和最基础的两个功能，资源调度是由ResourceManager完成的，资源隔离是由各个NodeManager实现的*ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的"资源调度")后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础的保证，这就是...

2018-05-29 14:42:08 1064

原创 YARN的架构组件功能

hadoop1.0和hadoop2.0的最大区别就在于hadoop2.0多出了一个yarn,hadoop1.0中Mapreduce即承担集群资源的管理和调度，又承担数据的处理，而hadoop2.0中将这两个任务分离开，yarn来对集群的资源进行管理和调度，Mapreduce来进行数据的处理，并且Mapreduce是运行在yarn上边的，yarn上不仅能运行Mapreduce这种并行计算框架，还...

2018-05-29 14:07:51 1097

原创 HDFS启动时的safemode模式

安全模式safemode整个过程是从启动datanode到启动完毕 safemode的作用： *等待datanode向namenode发送块的报告 *namenode会将块的个数和fsimage和edits中的作比较，当达到99.999%的阈值时安全模式safemode会自行在30秒后退出，这30秒的缓冲时间是为了...

2018-05-28 15:50:16 1533

原创 NameNode启动过程以及SecondaryNameNode辅助功能

NameNode存储的是整个文件系统的元数据，存放在两个地方: *内存 *本地磁盘: fsimage镜像文件 edits编辑日志文件第一次启动hdfs时会进行格式化操作，目的就是为了生成fsimage镜像文件，用来存储整个文件系统的元数据以下是整个流程:第一次启动: 1)进行hdfs的格式化操作 2)生成fsimage镜像文件 3...

2018-05-28 09:44:38 1553

原创 hadoop集群部署

hadoop集群部署分为三种：本地部署伪分布式部署分布式部署分布式部署顾名思义前提要有至少多台服务器，所以这里只介绍前两种部署方式，但是本地部署非常简单，只有几步，按照官方文档完全可以进行，所以下面主要讲伪分布式部署方式伪分布式：1.准备工作：在linux环境下安装jdk和hadoop，上传压缩包----》解压----》检验是否安装成功2.在core-...

2018-05-25 21:16:47 1953 2

原创 Linux基本命令(VM中的ubuntu)

1.创建用户，用户间切换 #表示是root用户 $表示是普通用户创建用户: useradd 用户名创建密码:passwd 用户名切换用户: su 用户名2.主机名与ip1)修改主机名：hostname 主机名(暂时修改) 永久修改:使用命令 vi etc/hostname 将里面的原主机名修改为你想要的主机名，然后重...

2018-05-20 18:56:28 1210

原创 VM虚拟机中如何设置ip地址

当我们在windows环境下，在cmd命令行中输入ipconfig可以看到我们的主机ip地址，但是我们创建了一台虚拟机，并且装好系统时，输入ifconfig(这里和windows下命令不一样，不要搞混了)时，会发现得不到ip地址，下面就说一下如何设置虚拟机的ip首先我们找到VM软件的顶部:虚拟机---》设置，然后在设置里面修改网络适配器为NET模式这个时候应该就可以连上网络并得到ip地...

2018-05-14 20:26:11 104554 5

原创 equals和==的区别

==用来判断两个变量的值是否相等，变量分为基本数据类型变量和引用类型变量，基本数据类型变量直接比较两个变量的值，引用数据类型变量要比较引用类型的内存的地址 equals用来比较两个对象，Object类中的equals方法是比较两个对象的地址，而对于String、Date、Integer之类的equals方法已经被重写了，比较时是看两个值是否相等，对于没有重写equals方法的对象，如...

2018-05-05 15:46:09 240 1

原创 java中基本数据类型

8种基本数据类型：4种整数类型：int short long byte2种浮点数类型：float double1种字符类型：char1种布尔类型：boolean基本数据类型大小(二进制) 字节(bit)数默认值 int ...

2018-05-04 16:14:22 203

原创使用cmd命令行实现百度云不限速下载

需要准备工具：Windows10，CMD命令行，BaiduPCS-GO插件。下载完毕后可以存放到任何位置，建议存放到无中文目录内。然后打开我的电脑-属性-高级系统设置-环境变量-系统变量-Path。点击编辑，新建，输入你的BaiduPCS-Go存放目录，看清楚是存放目录▼如图所示：（我的存放目录是D:\BaiduPCS-Go）这样CMD才可以正确识别到程序做好所有准备后，Win+R键运行CMD，输...

2018-05-04 15:52:31 7122 4

while false