2015年12月_千丈之松

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 HDFS MapReduce笔记

hadoop的HDFS hadoop分布式文件系统 NameNode ：存储元数据，比如（文件名，文件权限），负责处理client端发起的请求任务，读写都先访问namenode 元数据保存到内存中，同时落地到磁盘fsimage ，edits记录了对metadata的操作日志保存文件，block，datanode之间的映射关系。 block 的位置信息保

2015-12-16 16:36:58 493

原创 hadoop2.0 HA高可用笔记和搭建流程

一：hadoop2.X 笔记 hadoop1.0中，HDFS存在的问题 -NameNode单点故障 -NameNode压力过大、内存受限 MapReduce存在的问题 ---mapReduce 计算时间比较长 JobStacker 访问压力大，影响系统的扩容性在1.x中不支持spark。storm Hadoop2.x 由Hdfs、MapReduce和YARN三个

2015-12-15 18:27:42 710

原创 SolrCloud简介和搭建指导

一、搜索集群架构简介 1.1整体功能描述通过独立的zookeeper集群管理solrcloud集群。 Solrcloud集群负责索引的创建、查询、更新和删除操作。Solrcloud集群做sharding，每个sharding内做主从备份。 Search服务通过zookeeper集群获取solrcloud信息，向solrcloud提交用户信息索引请求，并向solrcloud提交用户信息搜索

2015-12-09 16:07:14 1149 1

原创内存队列批量导入日志到搜索引擎

最近着手处理大批量数据的任务。从文本文件中导入数据。到搜索服务器存储。为了提升性能，用的java并发包中的阻塞双端队列LinkedBlockingDeque。生产者线程读取数据。消费者从队列中取出数据提交到搜索引擎 package com.lubanec.cache.model; import java.util.concurrent.LinkedBlockingDequ

2015-12-03 16:40:23 1281