分布式
文章平均质量分 60
imck
做一个有思想的程序员
展开
-
hadoop 学习笔记(一)hadoop 数据流
文件读取解析为了了解客户端及与之交互的HDFS、namenode和datanode之间的数据流是什么样的,我们可以参考图1,该图显示了在读取文件时一些事件的主要顺序。 图1 客户端读取HDFS中的数据原创 2015-01-28 14:27:31 · 991 阅读 · 0 评论 -
hadoop 学习笔记(二)MapReduce的工作机制
图1 Hadoop运行MapReduce作业的工作原理作业的提交JobClient的runJob()方法是用于新建JobClient实例并调用其submitJob()方法的便捷方式(步骤1)。提交作业后,runJob()每秒轮询作业的进度,如果发现上次报告后有改变,便把进度报告到控制台。作业完成后,如果成功,就显示作业计数器。如果失败,导致作业失败的错误被记录到控制台。JobC原创 2015-01-29 15:33:49 · 606 阅读 · 0 评论 -
Apache SolrCloud安装
http://blog.javachen.com/2014/03/10/how-to-install-solrcloud/Apache SolrCloud安装2014.03.10SolrCloud 通过 ZooKeeper 集群来进行协调,使一个索引进行分片,各个分片可以分布在不同的物理节点上,多个物理分片组成一个完成的索引 Collection。SolrCloud 自动支转载 2014-12-30 20:42:06 · 577 阅读 · 0 评论 -
memcache的一致性hash算法使用
转载自:http://blog.csdn.net/woshiwu/article/details/6528706一、概述 1、我们的memcache客户端(这里我看的spymemcache的源码),使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同,只是对我们要存储数据的key进行hash计算,分配到不同节点存储。一致性hash算法是对我转载 2015-02-28 12:21:36 · 414 阅读 · 0 评论 -
Spark快速入门之单机模式Java应用程序开发
http://blog.sina.com.cn/s/blog_59c29ded0102v4i7.html本文旨在记录初学Spark时,根据官网快速入门中的一段Java代码,在Maven上建立应用程序并实现执行。1.开发软件 1) JDK 版本:1.7 2) Maven 版本:3.2.3 : http://maven转载 2015-03-29 15:21:55 · 1885 阅读 · 0 评论 -
Nutch + Solr + Hadoop 搭建分布式搜索引擎详细教程
Nutch + Solr + Hadoop 搭建分布式搜索引擎详细文档经过几天的摸索,终于完全成功地把环境搭建好了,这个过程遇到各种问题,并且目前网上没有一个完全可行的详细环境搭建教程,所以这里专门写一个详细的文档作为记录,这里主要记录nutch 的配置。环境:Linux 3.14.2 x86_64, JDK 1.7.0.51 x86_64准备: hadoop 2.4.1 ,原创 2014-12-27 16:26:29 · 2927 阅读 · 0 评论