bay233的博客

环境配置三个节点：node1:2181node1:2181node1:2181具体配置请参考大数据集群之Hadoop集群（HA）实现说明运用zk的事件和临时序列化节点实现。当一个线程需要获取锁时，先zk上创建一个临时序列化节点，并监听事件创建节点后，判断自己是否为唯一的节点，如果是则直接获取锁，如果不是，获取所有的兄弟节点并从小到大排序判断自己是不是序列号最小的节点（最早注册），如果是则获取锁。如果均不是则等待。当一个节点拿锁并执行完任务后，会将自己节点从zk上删除，此时其他节点将会收

环境配置为：192.168.36.100 node1 NameNode192.168.36.101 node2 NameNode , DataNode192.168.36.102 node3 DataNode192.168.36.103 node4 DataNode详细信息请参考：大数据集群之Hadoop集群（HA）任务说明与准备数据结构山西省,3,朔州市,朔城区,2013,LZW6450PF,上汽通用五菱汽车股份有限公司,五菱,小型普通客车,个人,非营运

HDFS作为Hadoop的文件系统，具有以下特点：高容错流式文件访问适合大数据处理适合批处理高容错率可以使它构建在廉洁的机器上当然也有缺点：不擅长低延迟和高吞吐率的数据访问小文件存储并发写入和高频率修改参照：https://blog.csdn.net/woshiwanxin102213/article/details/19990487HDFS常用指令HDFS的指令很多都与Linux有相同之处。官网指令参考地址指出几个不同且常用的：hadoop fs -get #将

本章会很长很长很长，请耐心观看。基本知识回顾Hadoop大致是由三部分的组件组成的，分别为HDFS，MapReduce，yarn。HDFS本质上是文件管理系统，HDFS大致又可以分为两个部分，NameNode（NN），DataNode（DN），NameNode为主节点或者说是Master节点，负责管理DataNode，NameNode同时只能有一个在工作，否则就会发生‘脑裂’。而DataNode则是具体存储数据的节点，DataNode可以是很多，数据是以块保存的，Hadoop2.x默认为128MB一块

本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群前提准备1.安装虚拟机软件VMware，这里提供一个安装教程链接参考2.获取一个Linux镜像，我这里使用的是CentOS7 64位,提供一个参考链接安装CentOS先创建一个文件夹，方便管理集群点击左上角文件新建虚拟机，选择典型，下一步选择自己的虚拟机镜像，下一步全名随便，用户名也是自取，密码最好简单点我这里是a，root用户也是使用这个密码，下一步虚拟机名，我这里为node1，也建议大家也使用，选择空间够大的安装

这是因为ip地址配置出现的问题，在我们配置core-site.xml文件时经常使用localhost表示本机在/etc/hosts 文件映射中 localhost 映射的一般是 127.0.0.1， 表示本地地址，这样配置也会导致只有在本地才能访问到9000 端口（通过netstat -ntlp 查看端口与地址的绑定），所以我们在自己电脑中的java程序虽然能访问到服务器但是不能访问9000...

写这篇文章是为了记录我自己在云平台上学习安装的过程，希望能为其他的同学提供一点帮助：服务器类型这里我使用的服务器有：node1 阿里云（学生机）Ubuntu （NameNode）node2 百度云（学生机）CentOs （SecondaryNamenode，datanode）node3 华为云（学生机）CentOs （datanode）node4 腾讯云（学生机）CentOs...