hadoop
gaobooo
这个作者很懒,什么都没留下…
展开
-
hadoop 1.0.0.3安装与配置,绝对实用
环境:操作系统Centos 6.2 64-bit --我采用的是最小安装VMWare虚拟机4个,计划部署分配如下:192.168.181.121 nameNode192.168.181.122 dataNode192.168.181.123 dataNode192.168.181.124 dataNode各dataNode机器,都需要安装jdk和ssh,同时要将name转载 2012-08-09 16:33:53 · 1939 阅读 · 0 评论 -
Hadoop入门-Hadoop安装(单机)
1、安装基础工具ssh2、安装JDK将下载源码包jdk-7u4-linux-x64.tar.gz放到目录:/usr/lib/jvm下(这里位置目录可以自己定义,JDK环境变量需要对应)直接解压:tar zxvf jdk-7u4-linux-x64.tar.gz 3、安装hadoop-1.0.3.tar.gz3.1、将下载包解压到根目录tar xzvf h转载 2012-08-09 17:39:37 · 337 阅读 · 0 评论 -
快速搭建Hadoop环境并测试mapreduce(1.0.3)
目标:安装测试本地单机Hadoop。花费时间:10分钟前提:java环境已经准备好 Hadoop有三种运行方式,单机版包括直接本地运行,假多点环境,多点集群环境。本文测试第一种方法,快速部署hadoop应用。开始:下载wget http://labs.renren.com/apache-mirror/Hadoop/common/hadoop-1.0.3/hado原创 2012-08-09 17:36:00 · 891 阅读 · 0 评论 -
Hadoop 三节点集群安装配置详细实例
topo节点:192.168.10.46 Hadoop46192.168.10.47 Hadoop47192.168.10.48 Hadoop48Hadoop的守护进程deamons:NameNode/DataNode 和 JobTracker/TaskTracker。其中NameNode/DataNode工作在HDFS层,JobTracker/TaskTracker工作在MapR原创 2012-08-09 17:33:00 · 1218 阅读 · 0 评论 -
Hadoop-1.0.3和hbase-0.92.1整合安装
1. 最初接触hadoop的时候使用的版本是0.20.2,现在2.0版本都出了。当时搭建过一个hadoop0.20.2和hbase0.20.6的集群环境,现在为了测试学习的方便,主备搭建一个伪分布式环境,使用Hadoop-1.0.3和hbase-0.92.1。2. 首先需要做的是对以前hadoop的升级,从0.20.2升级到1.0.3。升级过程如下所示: 下面红字部分转自:htt原创 2012-08-09 17:23:46 · 950 阅读 · 1 评论 -
Hadoop安装后的集群基准测试
一旦创建Hadoop集群并开始运行,我们需要给予用户权限使用它。这就是需要为每一个用户创建一个目录,并且对它设置权限许可。这就需要为每一个用户创建一个主目录,并且对它设置权限许可:[root@slave1 hadoop-0.20.2]# hadoop fs -mkdir /usr/username[root@slave1 hadoop-0.20.2]# hadoop fs -chown /原创 2012-08-09 17:18:32 · 450 阅读 · 0 评论 -
hadoop+hbase+zookeeper集群安装方法
最近公司搭建hadoop+hbase+zookeeper集群,期间遇到了许多问题,这里和大家分享一下安装的一些经验,目的在于大家在部署hadoop集群环境中少走一些弯路: 由于刚开始的时候我用虚拟机安装,安装版本是hadoop0.20.2+hbase0.90.3+zookeeper3.3.3版本,在测试hbase集群的时候hmaster不能正常启动或者是启动后进程自杀(在网上找到的答案应该是虚拟翻译 2012-08-09 17:16:46 · 440 阅读 · 0 评论 -
Hadoop配置机架感知(python 编写)
些hadoop集群在运行的时候,不完全是绝对平均的分配,不过需要尽可能平均的分配任务,避免某一台或者某几台服务器任务过重,其他服务器无事可做。这个,一方面是需要用到balancer,一个就是机架感知了。通常,balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过,机架感知,不是说是感知哪个服务器坏了,是根据机架位置的拓扑结构来选取服务器进行任务的权重分配。机原创 2012-08-09 17:15:20 · 665 阅读 · 0 评论 -
linux安装hadoop 1.0.3
操作系统:ubuntu 12.041.$ sudo apt-get install install ssh (备注:需要输入yes的,要安装openssh server 和另一个文件,忘了)2.官方文档要求:$ sudo apt-get install rsync 这个系统已经装好了的3 安装java(我的安装方法)$chmod +x jdk-6u30-linux-i586.bin原创 2012-08-09 17:08:38 · 448 阅读 · 0 评论 -
Hadoop集群配置详细版1.0.3
之前配置Hadoop的很多步骤不太详细,配置文件的许多优化点也没太搞清楚,重新写一下。2012.06.22更新:Hadoop版本兼容到1.0.3。0、ssh免密码登录view sourceprint?1ssh-keygen -t rsa -P""2cat$HOME/.ssh/id_rsa.p原创 2012-08-09 16:56:18 · 534 阅读 · 0 评论 -
从hadoop0.21 到 hadoop1.0.3
1,HDFS在0.21版本中hdfs-site.xml的配置内容如下:dfs.data.dirfile:///home/hadoop/hdfs/data/dfs.name.dirfile:///home/hadoop/hdfs/name/以上配置在0.21版本中运行正常,hadoop会依据file://来定位路径。而在1.0.3版本中如果采用原创 2012-08-09 16:53:09 · 921 阅读 · 0 评论 -
Hadoop入门-单机伪分布式配置
主要配置三个文件:core-site.xml、hdfs-site.xml、mapred-site.xml使用高版本的hadoop就要修改为下面的配置: Java代码 配置 使用如下的 conf/core-site.xml: fs.default.name hdfs://localhos转载 2012-08-09 17:40:52 · 332 阅读 · 0 评论