- 博客(8)
- 收藏
- 关注
RSS订阅原创 HDFS HA（HDFS高可用QJM方式）
HDFS HA（HDFS高可用QJM方式）HDFS中NameNode用于存储元数据信息，元数据信息包括了文件名称、文件路径、文件的所有者、文件的所属组、文件的权限、文件的副本数等等等。这样NameNode会存在单点瓶颈问题。此外考虑到NameNode有的时候需要进行集群内服务器升级、NameNode宕机等动态因素，一种HA机制迫切需要！HA机制（不需要SecondaryNameNode，将合并工作...
2018-03-19 11:01:23
457
原创 zookpper的使用和详解
zookpper的使用与详解简介基于观察者模式zookpper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目！以便于为分布式应用可以在zookpper纸上构建更高层次的同步服务！为用户提供同步、配置管理、分组和命名等服务！它是使用java编写的！zookpper的特点简单性：不同于典型的文件系统，zookpper的数据是存放在内存当中的，这样zookpper就可以实现一个高的吞吐...
2018-03-19 10:52:11
2219
1
原创 MapReduce On yarn运行过程详解
老的MapReduce主要包括Job Tracker和Task Tracker，YARN中主要是三个组件：Resource Manager、Node Manager和Application Master。Resource Manager负责全局资源分配，Application Master每个节点一个，负责当前节点的调度和协调。Node Manager是每台机器的代理，监控应用程序的资源使用情况，...
2018-03-15 11:45:43
1810
原创 MapReduce详解
Mapreduce的主要思想：分而治之主要分为两个步骤：map和Reducemap（映射）：对所有数据分割后的每一个单独模块分别进行处理reduce：对map处理后的结果进行合并。一个基本的MapReduce程序：input -> map -> reduce -> output===其它的并行编程中的种种复杂问题，如分布式存储、工作调度、负载平衡等都由yarn实现。并行编程模型的...
2018-03-15 11:40:13
450
原创 Hadoop的基本组成
hadoop主要包含了四个模块：即：Hadoop Commonhadoop工具包，为其它hadoop模块提供基础设施。Hadoop HDFS对海量数据的存储。hadoop分布式文件系统，用于存储海量数据；具有分布式特征；安全性：同时存储三份副本数据Hadoop MapReduce对海量数据的处理。也是分布式处理的策略。其思想是：分而治之大数据及分为多个小的数据集对于每个小的数据集进行逻辑业务的处理...
2018-03-15 11:31:40
2925
原创 HDFS知识点
DataNode包含了两部分内容：首先是存储的数据本身；然后是数据的元数据信息（元数据包括了数据块的长度、时间戳、块数据的校验和）！NameNode主要是用来存储数据的元数据信息（元数据包括了数据的文件目录结构、文件名、文件属性（包括文件生成时间、副本数、以及文件权限）、以及文件对应的块列表和每个块所在的位置信息等）其中，文件在集群中一共存储三份！NameNode和DataNode之间是通过心跳机...
2018-03-06 22:16:27
229
原创 HDFS JAVA API相关的操作方法
import java.io.File;import java.io.FileInputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.a...
2018-03-06 22:15:43
248
原创 Lucene、solr以及elasticsearch之间的区别和联系
首先分别说明三者的概念：Lucene是一套信息检索工具包，并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能，因此在使用Lucene时仍需要关注搜索引擎系统，例如数据获取、解析、分词等方面的东西。而solr和elasticsearch都是基于该工具包做的一些封装。Solr是一个有HTTP接口的基于Lucene的查询服务器，封装了很多Lucene细节，自己的应用可以直接利用...
2018-03-05 16:06:57
20411
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人