千丈之松的专栏

实践是最好的成长、发表是最好的记忆!!

HDFS MapReduce笔记

hadoop的HDFS   hadoop分布式文件系统 NameNode :存储元数据,比如(文件名,文件权限) ,负责处理client端发起的请求任务,读写都先访问namenode            元数据保存到内存中,同时落地到磁盘fsimage  ,edits记录了对meta...

2015-12-16 16:36:58

阅读数 390

评论数 0

hadoop2.0 HA高可用笔记和搭建流程

一:hadoop2.X  笔记 hadoop1.0中,HDFS存在的问题 -NameNode单点故障 -NameNode压力过大、内存受限 MapReduce存在的问题 ---mapReduce 计算时间 比较长 JobStacker  访问压力大,影响系统的扩容性 在1.x中 不支持spark...

2015-12-15 18:27:42

阅读数 614

评论数 0

SolrCloud简介和搭建指导

一、搜索集群架构简介 1.1整体功能描述 通过独立的zookeeper集群管理solrcloud集群。 Solrcloud集群负责索引的创建、查询、更新和删除操作。Solrcloud集群做sharding,每个sharding内做主从备份。 Search服务通过zookeeper集群获取solrc...

2015-12-09 16:07:14

阅读数 1015

评论数 1

内存队列批量导入日志到搜索引擎

最近着手处理大批量数据的任务。从文本文件中导入数据。到搜索服务器存储。  为了提升性能,用的java并发包中的 阻塞双端队列LinkedBlockingDeque。 生产者线程 读取数据。  消费者 从队列中取出数据 提交到搜索引擎 package com.lubanec.cache.mod...

2015-12-03 16:40:23

阅读数 1044

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭