云计算
关注
分享
扫一扫
chuanzhongdu1
这个作者很懒，什么都没留下…
展开
-
hadoop分布式文件系统架构与设计
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读...2011-02-17 11:09:00 · 105 阅读 · 0 评论 -
zookeeper锁机制
加锁：ZooKeeper将按照如下方式实现加锁的操作：1）ZooKeeper调用create（）方法来创建一个路径格式为“_locknode_/lock-”的节点，此节点类型为sequence（连续）和ephemeral（临时）。也就是说，创建的节点为临时节点，并且所有的节点连续编号，即“lock-i”的格式。2）在创建的锁节点上调用getChildren（）方...2011-11-08 13:58:00 · 130 阅读 · 0 评论 -
分布式服务框架 Zookeeper -- 管理分布式环境中的数据
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压...2011-11-08 13:56:00 · 86 阅读 · 0 评论 -
hbase集群配置
环境hbase-0.90.4hadoop-0.20.2配置文件hbase-env.shhbase-site.xmlregionservershbase-env.sh设置hbase环境变量hbase-site.xml设置hbase相关参数就在该文件regionservers指定region server列表，网上说应该用机器名修改hbase-env.she...2011-11-07 16:09:00 · 117 阅读 · 0 评论 -
hbase数据模型
BigTable是什么？Google的Paper对其作了充分的说明。字面上看就是一张大表，其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry（key & value）和DB Row之间的一种数据。在我使用Memcache的时候，有时候的需求是需要存储的不仅仅是简单的一个key对应一个value，可能我需要类似于数据库表结构中多属性的存储，但是又不会有传...2011-11-04 16:03:00 · 147 阅读 · 0 评论 -
zookeeper简介
ZooKeeper是作为分布式应用建立更高层次的同步(synchronization)、配置管理 (configuration maintenance)、群组(groups)以及名称服务(naming)。在编程上，ZooKeeper设计很简单，所使用的数据模型风格很像文件系统的目录树结构，简单来说，有点类似windows中注册表的结构，有名称，有树节点，有Key(键)/Value(值)对的关系，可...2011-11-03 15:00:00 · 102 阅读 · 0 评论 -
hadoop0.20.2下相关问题处理方法
Problem:NameNode is not formatted很明显示namenode没有format将namenode的文件夹删除，然后hadoop namenode -format网上好多文档都只会告诉你 hadoop namenode -format 就行namenode文件夹即dfs.name.dir指定的值could only be replicated to 0...2011-10-26 10:52:00 · 93 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程, 第 3 部分
部署到分布式环境曹 羽中(caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 简介：Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。在本文中，详细介绍了如何部署 Hadoop 分布式运行环境，如...2011-03-21 17:55:00 · 98 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程, 第 2 部分
用 Hadoop 进行分布式并行编程, 第 2 部分程序实例与分析曹 羽中(caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 简介：Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架，借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。在本文中...2011-03-21 17:38:00 · 84 阅读 · 0 评论 -
用 Hadoop 进行分布式并行编程, 第 1 部分
基本概念与安装部署曹 羽中(caoyuz@cn.ibm.com), 软件工程师, IBM中国开发中心 简介：Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架，借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。本文将介绍 MapReduce 计算模型，分布式并行计算等基...2011-03-21 16:25:00 · 132 阅读 · 0 评论 -
MapReduce 简介
1. 介绍MapReduce是google发明的一种编程模型。在这种编程模型下，用户通过定义一个map函数和一个reduce函数来解决问题。map函数对用户输入的键/值对（key/value pair）进行处理（处理时可能只有值这一项有用），生成一系列新的键/值对作为中间结果；系统（MapReduce的实现）对map函数生成的键/值对进行处理，将同属于一个键（key）的值（value）...2011-03-21 15:00:00 · 124 阅读 · 0 评论 -
hadoop0.20.2配置 in linux(ubuntu)
配置ssh创建密钥，这里p后面是空密码，不推荐使用空密码ssh-keygen -t rsa -P ''cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys配置完后，执行一下 ssh localhost, 确认你的机器可以用 SSH 连接，并且连接时不需要手工输入密码下载hadoopwgethttp://mirror.bj...2011-10-05 16:09:00 · 77 阅读 · 0 评论 -
HBase简介
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处...2011-07-15 13:49:00 · 77 阅读 · 0 评论 -
saas与云计算的区别
SAAS与云计算的区别 SAAS和云计算都是进两年来技术讨论的热点，关于saas和云计算的关系也是众说纷纭。本文将简单阐述他们的联系和区别。 软件的使用为我们的生活和工作带来了便利，当我们需要使用软件的时候，通常我们会在网上下载安装或者通过该买光盘安装，但这里有很多的问题 ，我们需要考虑，网络下载速度能否达到需要的速度，硬盘和内存的容量不够大，购买软硬件的费用过高等等这些瓶颈会阻碍我们对软件的使用...2011-03-11 16:59:00 · 129 阅读 · 0 评论 -
zookeeper相关问题解决
Error contacting service. It is probably not running.修改zkServer.sh文件status)STAT=`echo stat | nc -q 1 localhost如果nc 后有-q 1删除，反之亦然如有新问题持续更新2011-11-08 15:11:00 · 107 阅读 · 0 评论