云计算
文章平均质量分 87
iteye_10062
这个作者很懒,什么都没留下…
展开
-
云计算实战 (海量日志管理)hadoop + scribe -- scribe 介绍和安装
scribe 介绍: scribe 是facebook 开源的分布式日志系统 。 可以用java 借助log4j 向分布式scribe 写入日志。 安装环境: centos5.2 所需软件: 安装过程:一、输入gcc –v 检查gcc版本是否>3.3.5 是,则继续下一步。否,则安装gcc 。二、安装ruby 和python ...2010-10-28 17:50:57 · 204 阅读 · 0 评论 -
基于KVM的虚拟化之路 -- 虚拟机自动创建
1、虚拟机资源配置(cpu、内存、磁盘空间、等的分配)2、虚拟机访问、监控(ip地址,用户名密码,自动加入到监控系统)3、虚拟机安全针对这三个大的方面 , 做出了以下解决方案: 首先需要一个镜像池(可以是远程机器,也可以是共享文件系统),用来存放标准的系统镜像(已安装好了的),当然镜像中已经包含了一些公用性的配置。 还有一个标准的libvirt样本配置文件。 ...原创 2012-02-02 10:05:09 · 238 阅读 · 0 评论 -
HBase 架构101 –预写日志系统 (WAL)
原文:http://www.larsgeorge.com/2010/01/hbase-architecture-101-write-ahead-log.html什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里,我们要介绍它的实现细节,所有的描述都基于HBase 0.20.3.WAL最重要的作用是灾难恢复。和MySQL 的BIN lo...原创 2011-02-21 11:22:34 · 211 阅读 · 0 评论 -
cloudera 的hbase集群搭建简录 (centos5)
官方dochttps://wiki.cloudera.com/display/DOC/HBase+Installation 首先升级yum:在 /etc/yum.repos.d/ 下创建cloudera-cdh3.repo 然后把 [cloudera-cdh3]name=Cloudera's Distribution for Hadoop, Version 3mir...原创 2011-02-10 18:51:16 · 161 阅读 · 0 评论 -
zookeeper Have smaller server identifier
zookeeper 的一个节点启动时候报错:2011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:0:0:0:0:0:2188:FastLeaderElection@683] - Notification time out: 600002011-02-10 15:16:24,128 - INFO [QuorumPeer:/0:0:0:...2011-02-10 15:33:55 · 2018 阅读 · 0 评论 -
hdfs 的容灾
dfs.name.dir (namenode的路径) 可以配置多个路径(也就是说可以多磁盘)但这些目录中的文件都是一样的 (可以防止某磁盘挂掉,做备份)dfs.data.dir (datanode的路径) 也可配置多个。但数据时不一样的也就是利用多块磁盘来存储数据。至于datanode 的容灾措施, hdfs 会默认把datanode数据copy三份 一个放在本地机架的节点,一个放在同...2011-01-20 10:18:25 · 788 阅读 · 0 评论 -
hdfs 配置(namenode ,datanode 如何使用多硬盘)
fs.default.nameTo run HDFS, you need to designate (指派)one machine as a namenode. In this case, theproperty fs.default.name is a HDFS filesystem URI, whose host is the namenode’shostname or IP a...原创 2011-01-20 09:47:07 · 583 阅读 · 0 评论 -
云计算实战 (海量日志管理)hive -- hive + hiveclient (hive 客户端)
五个节点的hadoop服务器集群搭建完成后,得想办法提高开发效率,mapreduce 我不是高手,写起来有点麻烦,公司业务不等人,还是决定上hive。 话说想玩好hadoop 还得学精mapreduce ,或许我把这个任务往后放放。 废话不多说,接下来介绍下hive 的安装和实际应用。 hive 安装: 本人hadoop 用的就是...2010-12-03 15:39:06 · 318 阅读 · 0 评论 -
Hadoop Name node is in safe mode
运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧(至少我运行的时候是这样的) 那我们来分析下这个错误,从字面上来理解: Name node is in safe mode 说明...原创 2010-11-19 13:39:20 · 82 阅读 · 0 评论 -
云计算实战 (海量日志管理)hadoop + scribe -- scribe配置详解
Scribe can be configured with:the file specified in the -c command line optionthe file at DEFAULT_CONF_FILE_LOCATION in env_default.hGlobal Configuration Variablesport: assigned to v...原创 2010-11-04 11:36:31 · 276 阅读 · 0 评论 -
云计算实战 (海量日志管理)hadoop + scribe -- log4j 客户端写入scribe
上一篇文章已经安装完scribe,下面我们用java端,通过log4j 把日志写入scribe 日志系统。 一、生成scribe客户端生成 java客户端api A. 修改配置文件scribe.thrift cd /usr/local/scribeInstall/scribe/if vi scribe.thrift 修改...2010-11-02 09:04:27 · 180 阅读 · 0 评论 -
kvm虚拟化之路 --虚拟机双网卡(外网and内网)
宿主机层面: 需要分别从两块网卡建立两个网桥:eth0->br0, eth1->br1从libvirt层面:需要配置两个网桥<interface type='bridge'><mac address='54:52:00:**:**:**'/><source bridge='br0'/><target dev='vnet7'/>...2012-02-02 10:11:05 · 1365 阅读 · 0 评论