![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
文章平均质量分 73
ssj_lanruosi
一个人只拥有此生此世是不够的,他还应该拥有诗意的世界~~
展开
-
Fedora13伪分布式模式安装Hadoop
1安装Linux系统,在这里安装的是Fedora13 创建用户的用户名为:ssj 2安装openssh-server: yum install openssh-server 如果已经安装则跳过。 3建立ssh无密码登录: (1)在namenode上面实现无密码登录: ssh-keygen -t dsa -P '' -f ~/.ssh/id_d...原创 2010-08-26 09:46:12 · 127 阅读 · 0 评论 -
Fedora13中安装HBase笔记
1.(1)HBase需要Hadoop和jdk的支持,故需要先安装好jdk和hadoop并配置好,具体步骤可参见上篇日志。 (2)在 Hadoop 分布式文件系统中创建两个目录 hbase 和 tmp ,这两个目录将在下面安 装 HBase 的过程中使用,切换到目录$HADOOP_HOME/在 Shell 中输入命令如下: bin/hadoop dfs –mkdir hbase ...原创 2010-08-26 09:47:08 · 76 阅读 · 0 评论 -
Hadoop分布式文件系统:架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系...原创 2010-09-13 09:06:03 · 321 阅读 · 0 评论 -
hadoop的mapreduce作业中经常出现的Out Of Memory解决方案
常常被一些用户问到,说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误,然后失败呢?以前同一个作业没出现过的呀?” 10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED java.lang.OutOfMemoryError...原创 2010-10-25 19:57:03 · 642 阅读 · 0 评论 -
Cassandra数据模型【原创】
Cassandra数据模型 几个概念 Cluster:集群,一个逻辑上的cassandra实例包含的节点。一个集群可以包含多个keyspace。 Keyspace:Column Family的名字空间,通常是一个应用一个keyspace。 Column Family:包含多个column,每个column包括name,value, timestamp。Column Family通过...原创 2011-12-28 14:41:55 · 129 阅读 · 0 评论 -
Cassandra启动过程详解【原创】
Cassandra启动过程详解这里的分析从CassandraDaemon.java文件开始。一、配置文件storage-config.xml的读取和log4j的配置文件log4j.property的设置。配置文件的读取和解析都是在 org.apache.cassandra.config.DatabaseDescriptor 类中完成的,这个类的作用非常简单,就是读取配置文件中各个配置项所定义的值,...原创 2011-12-28 14:46:22 · 484 阅读 · 0 评论 -
Cassandra中失效检测原理详解
Cassandra中失效检测原理 一、传统失效检测及其不足 传统失效检测方法 在分布式系统中经常使用心跳(Heartbeat)来检测Server的健康状况,但从理论上来说,心跳无法真正检测对方是否crash,主要困难在于无 法真正区别对方是宕机还是“慢”。传统的检测方法是设定一个超时时间T,只要在T之内没有接收到对方的心跳包便认为对方宕机,方法简单粗暴,但使用广泛。 传统错误检测...原创 2011-12-28 14:58:39 · 250 阅读 · 0 评论 -
Cassandra中布隆过滤器实现详解【原创】
Cassandra中BloomFIlter实现详解 零、BloomFilter原理概述 http://hi.baidu.com/waxiga/blog/item/33ef2ff49b138530bd3109ad.html http://pages.cs.wisc.edu/~cao/papers/summary-cache/node8.html(cassandra中用到了其中的结论,...原创 2011-12-28 15:01:28 · 153 阅读 · 0 评论