- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 day05_搭建Hadoop的HA架构(2)
规划机器及应用我们这次使用三台机器进行HA架构的搭建 hadoop1 hadoop2 hadoop3机器及角色分配如下: hadoop1 hadoop2 hadoop3 zookeeper1 zookeeper2 zookeeper3 journalnode1 journalnode2 journalnode3 Name...
2018-03-23 12:35:55
319
原创 day05_Hadoop的HA机制及搭建Zookeeper(1)
参考链接：http://blog.csdn.net/liu812769634/article/details/530972681. hadoop1.0的架构上图是我们之前学HDFS的结果，虽然可以保证保证元数据的可靠行，但是服务的可用性不高 一旦 NameNode宕机了 我们就不能对外提供服务了。2. hadoop2.0 HA机制为了提高服务器的可用性，社区演进出了HA机...
2018-03-23 12:34:36
337
转载 day04_mapReducer的例子和shuffle的过程
上次已经知道如何写一个简单的MapReducer程序来统计文件中各个单词出现的个数了，是输出到来了同一个文件，并且结果的排序是按照key的索引的默认顺序进行排列的，今天我们还进行制定排序算法和分组输出结果文件1. 功能具体实现这次我们处理的数据集是 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100...
2018-03-18 14:21:26
517
原创 day03-MapReducer基本使用 8天学会Hadoop基础
1. MapReduce 统计文件的单词出现的个数Mapper: 处理具体文本，发送结果Reducer: 合并各个Mapper发送过来的结果Job: 制定相关配置，框架Mapperpackage cn.itcast.hadoop.mr.wordcount;import java.io.IOException;import org.apache.hadoop.io....
2018-03-18 12:28:21
549
原创 day02 -分布式文件系统和HDFS 8天学会Hadoop基础
hdfs有两种角色 NameNode，DataNode1. HDFS架构NameNode 主要负责管理元数据 维护hdfs的目录树响应客户端的请求DataNode 主要存数据块Secondary NameNode2. 文件存储1. client 向 NameNode 申请上传文件2. NameNode根据文件大小向 client 分配的 DataNo...
2018-03-13 17:33:09
519
原创 day01-安装笔记 8天学会Hadoop基础
操作系统： CentOS7安装 jdkhttp://blog.csdn.net/fuyuwei2015/article/details/731959361. 卸载查看已经安装的jdk[root@bogon jre]# rpm -qa|grep jdkjava-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64java-1...
2018-03-13 15:34:03
1218
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人