云计算--hadoop
文章平均质量分 84
hmilyzhangl
这个作者很懒,什么都没留下…
展开
-
hadoop杂记(二)
四、安全模式属性说明1、dfs.replication.min 类型:int 默认值:1 说明:设置最小副本级别,成功执行写操作所需要创建的最少副本数目(也就是最小复本级别)2、dfs.safemode.threshold.pct 类型:float 默认值:0.999 说明:在namenode退出安全模式之前,系统中满足最小复本级别(由上一个选项定义)的块的比例...原创 2012-05-03 15:51:41 · 187 阅读 · 0 评论 -
hadoop、hbase、zookeeper环境搭建(详细)
一 机器192.168.0.203 hd203: hadoop namenode & hbase HMaster192.168.0.204 hd204: hadoop datanode & hbase HRegionServer & zookeeper192.168.0.205 hd205: hadoop datanode & hbase HRe...原创 2012-03-27 12:54:44 · 76 阅读 · 0 评论 -
sqoop安装及数据迁移
下载sqoop[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubati...原创 2012-03-26 23:15:02 · 173 阅读 · 0 评论 -
使用sqoop将MySQL数据库中的数据导入Hbase
前提:安装好 sqoop、hbase。下载jbdc驱动:mysql-connector-java-5.1.10.jar将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下MySQL导入HBase命令:sqoop import --connect jdbc:mysql://10.10.97.116:3306/r...原创 2012-03-26 23:12:46 · 155 阅读 · 0 评论 -
hadoop 集群升级失败记录
一.错误概述 因为需要使用hadoop与hbase结合使用,所以需要为hadoop hdfs升级使用append写模式。需要对现有的hadoop 0.20.1 升级至0.20.205.0; 升级过程简单的使用 hadoop namenode -upgrade 从 -18 version => -32version(这个是dfs/name/current/VERSION)....原创 2012-03-22 14:19:18 · 180 阅读 · 0 评论 -
扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs. 1.Webdav协议介绍:WebDAV(W...原创 2012-03-22 14:17:29 · 231 阅读 · 0 评论 -
hadoop集群崩溃恢复记录
一.崩溃原因搭建的是一个hadoop测试集群,所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话,数据就会失去。但不幸的是,刚好就有一台机器由于负载过高,导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如下错误: Java代码 FSNamesystem ini...原创 2012-02-15 14:38:59 · 409 阅读 · 0 评论 -
Hadoop的rmr和trash
这两天在操作Hadoop集群时,由于一个误操作,制作了一个天大的悲剧不小心把Hadoop集群上的所有文件全部删除了,具体情况是这样的:我用hadoop的超级帐户要建立一个目录,结果发现位置错了也是,想使用rmr删掉那个目录,可是不小心把命令写成了hadoop fs -rmr /user于是,悲剧出现了,所有user目录下的所有目录和文件全都没有了当时我就慌神了,赶紧从w...原创 2012-02-14 10:56:56 · 560 阅读 · 0 评论 -
Hadoop 集群的基准测试
(转)测试环境:12个节点,每个节点的物理机配置为双核CPU,主频2.60Hz,内存3G,硬盘250G,网络带宽100Mbps以太网,虚拟机VMware workstation 7.1.0 build-261024,平台RHEL5.5,内核版本2.6.18,,虚拟机配置为单核CP...原创 2011-11-18 10:49:25 · 103 阅读 · 0 评论 -
hadoop集群配置--成功运行
── 分布式计算开源框架Hadoop入门实践 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。 ...原创 2011-11-18 09:55:17 · 214 阅读 · 0 评论 -
hadoop杂记(一)
namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式化,启动时自动创建...原创 2012-05-03 15:52:53 · 74 阅读 · 0 评论 -
hadoop 根据SecondaryNameNode恢复Namenode
1.修改conf/core-site.xml增加<property> <name>fs.checkpoint.period</name> <value>3600</value> <description>...原创 2013-01-04 17:30:20 · 94 阅读 · 0 评论