u013250861的博客

PrettyZoo是一个基于 Apache Curator 和JavaFX实现的 Zookeeper 图形化管理客户端。使用了 Java 的模块化（Jigsaw）技术，并基于 JPackage 打包了多平台的可运行文件（无需要额外安装 Java 运行时）。目前已提供了 mac（dmg 文件）、Linux（deb 和 rpm 文件）、windows（msi文件） 的安装包，下载地址。

HDFS、YARN、MapReduce三者关系。

尚硅谷大数据技术之Hadoop（入门）（作者：尚硅谷研究院）版本：V4.0 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。 1）Apache Hadoop官网地址：http://hadoop.apache.o

# 一、HDFS概述## 1、HDFS产出背景及定义- 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切**需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。**- HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。- HD

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode返回是否可以上传。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。（6）dn1

但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。（4）常见的校验算法crc（32），md5（128），sha1（160）。

需求1：default队列占总内存的40%，最大资源容量占总资源60%，hive队列占总内存的60%，最大资源容量占总资源80%。1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的。）因为担心员工不小心，写递归死循环代码，把所有资源全部耗尽。每个框架的任务放入指定的队列（企业用的不是特别多）。）：单队列，根据提交作业的先后顺序，先来先服务。快照，否则后续的案例，还需要重新准备集群。

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1）什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。2）为什么要序列化。

将此案例打包成jar包：wordcount.jar，发送到Linux服务器节点上通过hadoop jar 命令运行。

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。

负责存储和管理分布式系统中各个进程与模块都关心的数据。

1）在hadoop102的/home/wyr/bin目录下创建脚本。在脚本中编写如下内容。3）Zookeeper集群启动脚本。4）Zookeeper集群停止脚本。2）增加脚本执行权限。

大数据-Hadoop：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）一、VMware、Linux虚拟机环境准备1、网络配置1.1 查看网络IP和网关1.1.1 查看虚拟网络编辑器1.1.2 修改ip地址1.1.3 查看网关1.1.4 查看windows环境的中VMnet8网络配置(控制面板-网络和Internet-更改适配器选项)1.2 配置Linux系统的网络IP和网关1.2.1 查看当前网络IP1.2.2 修改当前Linux系统的IP地址为固定地址1.2.3

我们先配置电脑，再安装系统。

Cloudera Manager是用于管理CDH群集的B/S应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本。使用Cloudera Manager，可以轻松部署和集中操作完整的CDH堆栈和其他托管服务（Hadoop、Hive、Spark、Kudu）。其特点：应用程序的安装过程自动化，将部署时间从几周缩短到几分钟;并提供运行主机和服务的集群范围的实时监控视图;

大数据-Hadoop-户管理界面：hue【是Hadoop的用户管理界面，通过词工具对大数据各个软件进行更加友好的操作】

（1）所谓HA（High Availablity），即高可用（7 * 24小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。（3）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用。

【代码】Hadoop：群起脚本【一个命令启动/停止所有节点的Hadoop（NameNode，DataNode）、Yarn节点（ResourceManager, NodeManager）】

NameNode的节点（比如：hadoop102节点）格式化NameNode。不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化。进程，并且要删除所有机器的。目录，然后再进行格式化。如果集群是第一次启动。

scp可以实现服务器与服务器之间的数据拷贝。