2011年12月_iteye_3156

原创 HBase分布式安装手册

一、安装准备1、下载HBASE 0.20.5版本：http://www.apache.org/dist/hbase/hbase-0.20.5/2、JDK版本：jdk-6u20-linux-i586.bin3、操作系统：Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x8...

2011-12-31 09:12:45 65

原创 hadoop,hbase,zookeeper错误日志及部分解决办法(2)

hdfs中，提示权限错误：代码如下：public class Loadup {public static void main(String[] args) throws Exception{final int piece=10;String localSrc=args[0];String Dst=args[1];Configuration conf=new Configuration();...

2011-12-29 10:33:00 175

原创 hadoop,hbase,zookeeper错误日志及部分解决办法(1)

没有全部遇到过。也没有经过测试。收集至此，以备以后遇到问题作为参考之用。hadoop-0.20.2 & hbase-0.90.1集群启动错误问题解决：问题如下：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mis...

2011-12-29 10:32:00 202

原创 Ubuntu关机、重启、注销命令

1关机命令 shutdown　　好像ubuntu的终端中默认的是当前用户的命令，只是普通用户，因此在终端器中可以使用sudo -sh 转换到管理员root用户下执行命令。　　1)shutdown –help　　可以查看shutdown命令如何使用，当然也可以使用man shutdown命令。　　2) shutdown -h now 现在立即关机　　3)shutdown -r n...

2011-12-29 09:20:10 65

原创 ssh 安装及登录提示:connection refused的解决办法

转载请注明出处：http://hi.baidu.com/leejun_2005/blog/item/fbc27c4b20e83d3a08f7ef23.html?timeStamp=1309179713928from：http://hi.baidu.com/tunaisen/blog/item/85e0a41805ed9fb24bedbcf3.html如果出现ssh: connect to ...

2011-12-28 14:02:03 1982

原创 Hadoop0.20.2的安装与配置

本文主要介绍在 Ubuntu 环境下 Hadoop0.20.2 的安装及配置：步聚一、机器分配及用途 hdfs-m--------------172.16.11.197 (Master--NameNode) hdfs-s1-------------172.16.11.149 (Slave1--DataNode) hdfs-s2-------------172.16.11....

2011-12-19 17:45:17 112

原创 Hadoop 资源+配置+性能

Hadoop 资源淘宝Hadoop的技术分享http://rdc.taobao.com/blog/dw/archives/category/hadoophttp://rdc.taobao.com/blog/dw/archives/244 Hadoop基本流程与应用开发http://www.infoq.com/cn/articles/hadoop-process-dev...

2011-12-19 17:18:06 129

原创 hadoop 命令手册

概述所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop有一个选项解析框架用于解析一般的选项和运行类。命令选项描述--config confdir...

2011-12-19 17:04:07 62

原创 hbase 启动解决

作者：云中哈哈时间： 2011.7.5ericlzyu#gmail.com今天搞了一天。经常出现Server is not running yet 的错误。找了几个小时。终于发现是 hadoop 启动的问题。--------NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct）...

2011-12-19 14:37:20 145

原创 HBase HMaster启动和停止

HMaster(0.90.3) Startup:main方法: new HMasterCommandLine(HMaster.class).doMain(args); //args为startHMasterCommandLine: 用于启动/停止HMaster.doMain: 运行Tool类的run方法. 继承关系：HMasterCommandLine-->Ser...

2011-12-19 14:36:19 733

原创 HBase数据库性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zo...

2011-12-14 10:28:03 57

原创主流NoSQL数据库评测之HBase

【IT168 专稿】本篇要评测的NoSQL产品是HBase，和其他简单的Key-Value结构不同，HBase主要面向处理海量数据的应用，可以认为是Google BigTable的一个开源版本。由于Facebook使用HBase来存储消息内容和大数据量的实时分析而使得这一产品备受关注。　　系列文章：　　主流NoSQL数据库评测之Tokyo Cabinet　　主流NoSQL数据库评测之H...

2011-12-14 10:15:29 118

原创 hbase集群安装（hadoop0.20.2+zookeeper3.3.3+hbase0.90.2）

并且已经安装成功Hadoop-0.20.2及以上版本。安装包准备需要安装包：zookeeper-3.3.2.tar.gz（stable版本）hbase-0.20.2.tar.gz（stable版本）安装步骤安装和配置ZooKeeperHBase从0.20.0开始，需要首先安装ZooKeeper。从apache上下载zookeeper-3.2.1.tar.gz（Stabl...

2011-12-14 10:12:05 137

原创 hadoop管理NameNode AND SecondaryNameNode

光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中，要配置好并正确的使用 s...

2011-12-14 09:28:06 193

原创 Hadoop+Hbase安装配置实录

生产环境：3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意：hostname设置为master/slave1/slave2操作系统：rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1和slave2上操作...

2011-12-11 22:39:06 59

原创 Hadoop安装配置问题集锦

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/secu...

2011-12-11 22:37:03 165

原创运行中hadoop增加和删除datanode (*)

增加Hadoop新节点：向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序，配置相应的环境变量2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys3. 新节点上设置/etc/hosts，只要有本机和master的host即可/etc/hosts127.0.0.1 l...

2011-12-09 18:45:21 201

原创 Hadoop分布式时远程Datanode无法启动的解决

问题的基本现象：在测试Hadoop的分布式环境搭建时，在namenode启动时信息如下：引用[michael@shnap hadoop]$ bin/start-all.sh starting namenode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-namenode-shnap.out 192.168.8.1...

2011-12-09 18:39:18 123

原创 hadoop主节点（NameNode）备份策略以及恢复方法

一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后...

2011-12-09 18:37:35 111

原创 Hadoop使用常见问题以及解决方法

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/secu...

2011-12-09 10:37:38 1153

原创超全Ubuntu软件包管理命令

APT (高级软件包工具) 是一个强大的包管理系统，而那些图形化程序如添加/删除应用程序和 Synaptic 都是建立在它的基础之上的。APT 自动处理依赖关系并在系统软件包执行其他操作以便安装所要的软件包。运行 APT 要求管理权限。可以被 APT 使用的一些常用命令：安装软件包： sudo apt-get install packagename 删除软件包： sud...

2011-12-09 10:03:44 137

原创 ubuntu命令大合集

查看软件xxx安装内容dpkg -L xxx查找软件库中的软件apt-cache search 正则表达式查找软件库中的软件aptitude search 软件包查找文件属于哪个包dpkg -S filename查找文件属于哪个包apt-file search filename查询软件xxx依赖哪些包apt-cache depends xxx查询软件xxx被哪些包依赖apt-cache rdepe...

2011-12-08 13:59:15 44

thomas0988