Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建

最新推荐文章于 2024-07-28 16:45:11 发布
最新推荐文章于 2024-07-28 16:45:11 发布
阅读量447 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 Hadoop

建议配置1台，克隆两台，修改/etc/hostname即可

创建hadoop用户组和用户

创建用户组   

sudo addgroup hadoop

创建用户

sudo adduser -ingroup hadoophadoop

给hadoop用户添加权限，打开/etc/sudoers文件

sudo gedit /etc/sudoers

在root ALL=(ALL)ALL行下添加ALL=(ALL:ALL) ALL。如果不添加这行，hadoop将不能执行sudo操作。

 

1. 配置jdk

进入在存放jdk文件夹的当前目录，将解压好的jdk1.7.0_10文件夹用最高权限复移动到/home/hadoop/tools目录里，此时即使没有tools目录也可以执行如下命令，tools文件夹将得到创建。

 

sudo mv jdk1.7.0_45.tar.gz /home/hadoop/tools/

接下来需要设置环境变量，进入当前用户名的主文件夹，修改.profile文件。注意，该文件是当前用户的配置文件，如果要对使用计算机的所有用户生效，那么需要设置的文件应该是 /etc/profile。

 

解压

tar -zxvf  jdk1.7.0_45.tar.gz

重命名：

mv jdk1.7.0_45 jdk7

mv  apache-maven-3.2.2  maven3.2

mv  hadoop-2.6.0  hadoop2.6

mv  hbase-1.1.2   hbase1

 

配置hadoop用户环境变量

sudo gedit ~/.bashrc

在末尾加上:

 

# Hadoop

exportHADOOP_PREFIX="/home/hadoop/tools/hadoop2.6"

exportPATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}

export HADOOP_YARN_HOME=${HADOOP_PREFIX}

 

#set java environment

export JAVA_HOME=/home/hadoop/tools/jdk7

export JRE_HOME=/home/hadoop/tools/jdk7/jre

 

export MAHOUT_HOME=/home/hadoop/tools/mahout-distribution-0.9

export MAVEN_HOME=/home/hadoop/tools/maven3.2

exportPATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$MAHOUT_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

export SCALA_HOME=/home/hadoop/tools/scala2.10

export PATH=.:$PATH:$SCALA_HOME/bin

 

export SPARK_HOME=/home/hadoop/tools/spark1.4

export PATH=.:$PATH:$SPARK_HOME/bin:$SPARK_HOME:sbin

 

export HBASE_HOME=/home/hadoop/tools/hbase1

exportPATH=.:$PATH:$HBASE_HOME/bin

然后保存关闭，此时在命令行输入java -version将会仍然显示java没有安装。此时，需要使用source更新下.bashrc文件：

 

source  ~/.bashrc

再次使用java -version命令可以看到如下输出：

 

到此，已经将jdk配置完成。如果之前系统里面已经安装了openjdk，可以使用如下方法将默认jdk更改过来：

3.采用桥接模式获得静态虚拟机ip

ip addr 获得该节点ip地址

在三台主机上分别设置：/etc/hosts和/etc/hostname

hosts这个文件用于定义主机名和IP地址之间的映射关系。

(修改hostname后重启虚拟机生效)

4.关闭防火墙

 sudo ufw disable (关闭防火墙重启虚拟机生效)

5.换源

 若出现ssh等软件无法安装，进行换源操作

1、首先备份Ubuntu14.04源列表

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup （备份下当前的源列表）

2、修改更新源

sudo gedit  /etc/apt/sources.list（打开Ubuntu 14.04源列表文件）

在后面添加:

deb http://ubuntu.cn99.com/ubuntu/ precise mainrestricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu/ precise-updatesmain restricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu/ precise-securitymain restricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu/ precise-backportsmain restricted universe multiverse

deb http://ubuntu.cn99.com/ubuntu-cn/ precise mainrestricted universe multiverse

3、sudo apt-getupdate  更新

6.安装SSH服务（建立无密码登陆本机）

安装openssh-server;

sudo apt-get install ssh

首先要转换成hadoop用户，执行以下命令：

su   hadoop

 

1.创建ssh-key，这里我们采用rsa方式;

ssh-keygen -t rsa

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2.进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

   cd ~/.ssh

cat id_rsa.pub >> authorized_keys

3. 登录localhost（master）;

    ssh (localhost)master

 

 

( 注：当ssh远程登录到其它机器后，现在你控制的是远程的机器，需要执行退出命令才能重新控制本地主机。)

4. 执行退出命令;

exit

将生成的authorized_keys文件拷贝到两台slave主机相同的文件夹下，命令如下：

scp authorized_keys slave1:~/.ssh/

scp authorized_keys slave2:~/.ssh/

 

ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。

 

附ssh部分命令：

重启SSH  

/etc/init.d/ssh restart

确认sshserver是否启动

ps -e | grep ssh

如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/ssh start，如果看到sshd那说明ssh-server已经启动了。

 

7.Hadoop配置

切换为hadoop用户

su hadoop

 

解压hadoop到/home/hadoop/tools/

tar -zxvf hadoop-2.6.0.tar.gz  /home/hadoop/tools/

 

将hadoop-2.6.0 改名为hadoop2.6

mv hadoop-2.6.0 hadoop2.6

 

进入etc下修改配置文件

cd /home/hadoop/tools/hadoop2.6/etc/hadoop

 

编辑hadoop-env.sh(修改JAVA_HOME的配置)

sudo gedit hadoop-env.sh

export JAVA_HOME=/home/hadoop/tools/jdk7

export HADOOP_PID_DIR=/home/hadoop/pids

编辑yarn-env.sh，在底部增加

export JAVA_HOME=/home/hadoop/tools/jdk7

export YARN_PID_DIR=/home/hadoop/pids

编辑slaves文件，在底部增加

master

slave1

slave2

 

编辑core-site.xml

<configuration>

<property>

   <name>fs.defaultFS</name>

   <value>hdfs://master:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/temp</value>

</property>

</configuration>

 

编辑hdfs-site.xml

<configuration>

  <property>

<name>dfs.replication</name>

<!—该数值为slave节点数 -->

    <value>3</value>

  </property>

 

  <property>

<name>dfs.namenode.name.dir</name>

<!-- 注意创建相关的目录结构 -->

    <value>file:/home/hadoop/dfs/name</value>

   <final>true</final>

  </property>

 

  <property>

<name>dfs.datanode.data.dir</name>

<!-- 注意创建相关的目录结构 -->

   <value>file:/home/hadoop/dfs/data</value>

  </property>

</configuration>

 

编辑yarn-site.xml

<configuration> 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

 

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

<property>

<name>yarn.resourcemanager.hostname</name>

<!--  resourcemanager hostname或ip地址-->

   <value>master</value>

</property>

</configuration> 

 

编辑mapred-site.xml

默认没有该文件

<configuration>

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

       <final>true</final>

</property>

</configuration>

 

 

把所有Datanode节点设置可写权限（防止启动服务的时候出错）

 sudo chown -R  hadoop:hadoop /home/hadoop/

 

启动hadoop

1.第一次启动需要在master 执行format

bin/hdfs namenode -format

2.在master启动服务

   sbin/start-all.sh

3.在master 验证启动进程：

4.在slave 验证启动进程：

5.打开浏览器输入：http:// master:8088 可查看相关的应用运行情况。

6. 打开浏览器输入：http://master:50070  可查看hdfs目录

7.测试

bin/hdfs dfs -ls /

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir -p/user/micmiu/wordcount/in

 

创建三个文件（内容相同）

micmiu-01.txt：

micmiu-02.txt：

micmiu-03.txt：

Hi Michael welcome to Hadoop

more see micmiu.com

上传三个文件

bin/hdfs dfs -put micmiu*.txt/user/micmiu/wordcount/in

 

启动wordcount

bin/hadoop jar   ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jarwordcount   /user/micmiu/wordcount/in   /user/micmiu/wordcount/out

   查看结果输出out文件

bin/ hdfs dfs -cat /user/micmiu/wordcount/out/part-r-00000

8.安装HBase1.1.2

首先登陆官网：

http://apache.fayea.com/hbase/stable/

下载最新版本，这里选取的是hbase1.1.2版本，切换为hadoop用户

su hadoop

 

解压hadoop到/home/hadoop/tools/

tar -zxvf hbase-1.1.2-bin.tar.gz  /home/hadoop/tools/

 

将hbase-1.1.2 改名为hbase1

mv hbase-1.1.2  hbase1

 

进入etc下修改配置文件

cd /home/hadoop/tools/hbase1/conf

 

编辑hbase-env.sh，在底部增加

# The java implementation to use. Java 1.7+ required.

export JAVA_HOME=/home/hadoop/tools/jdk7

export HBASE_MANAGES_ZK=true

export HBASE_PID_DIR=/home/hadoop/pids

 

编辑regionservers文件，在底部增加

master

slave1

slave2的IP地址：

 

编辑hbase-site.sh，在底部增加

<configuration>

<property>

        <name>hbase.rootdir</name>

       <value>hdfs://master:9000/hbase</value>

</property>

 

<property>

       <name>hbase.cluster.distributed</name>

        <value>true</value>

</property>

 

<property>

  <name>hbase.master</name>

  <value>192.168.16.128:60010</value>

</property>

 

<property>

  <name>hbase.zookeeper.quorum</name>

  <value>192.168.16.128,192.168.16.129, 192.168.16.130</value>

</property>

 

<property>

  <name>zookeeper.znode.parent</name>

  <value>/hbase</value>

</property>

</configuration>

在浏览器中输入http://192.168.16.128:16030/rs-status，如图则配置成功：

附录：遇到的部分问题总结

1. slave节点的DataNode自动关闭问题

原因:Namenode上namespaceID与datanode上namespaceID不一致。

每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。

解决方案：

(1)停掉集群服务

　　(2)在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录，本机器上那个是/var/lib/hadoop-0.20/cache/hdfs/dfs/data/

　　(3)格式化namenode.

(4)重新启动集群。

 

2. NameNode结点不能启动

 jps查看结点启动情况没有NameNode结点

一种原因是在core-site.xml中指定了如下配置：

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop/hadoop-${user.name}</value>
  </property>

但是tmp会在启动的时候清空，而dfs的数据就会变得不一致，导致启动失败，可以重新更改位置：

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-${user.name}</value>
  </property>

然后执行: hadoop namenode -format  命令（由于namenode数据存储目录变更，namenode需要重新格式化）

重启后即可。

 

 

3. 运行wordcount时权限不足

解决方案：

在配置hdfs-site.xml中增加配置代码：

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

 

 

4. 解除安全模式

解决方案：

   hadoopdfsadmin -safemode leave

842261
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mac系统下，Hadoop 2.6.2 + Mahout 0.12.1 完全分布式配置
wk51920的专栏
06-28 1034
简介         Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。         以上来自
hadoop2.7.3 mahout 0.9 遇到问题
laymenISmouse的专栏
10-01 1072
hadoop2.7.3 mahout 0.9 遇到问题： 以命令行提交hadoop任务，VMware10虚拟机，ubuntu16.4，单机版hadoop2.7.3，mahout0.9，maven3.3.9 处理数据ratings.csv；
Mahout0.9安装(Hadoop2.6.0)
A thousand sugar star
02-16 2273
在2.0版本以上的hadoop上使用时, 需要重新编译mahout, https://mahout.apache.org/developers/buildingmahout.html $ git clone https://github.com/apache/mahout.git $ mvn clean package -Dhadoop2 -Dhadoop2.version=2.6.0 -
编译mahout使其支持hadoop2.6
奔向新世界
03-19 4561
Mahout0.9的版本只支持hadoop1.x版本，现在hadoop2.x比1.x更灵活、功能更强大、应用更广，支持2.x那是必然的。在mahout的主干代码上已经是支持hadoop2.2的了，下面就编译源代码用于支持hadoop2.6，因为自己搭建的环境是这个版本。 1、从github上clone一份源代码     2、修改pom.xml文件    找到hadoop.version一项
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
集群配置完成后，通常还需要进行一些验证操作，如检查Hadoop的`dfs健康报告`、HBase的`master状态`以及Zookeeper的`集群状态`。同时，定期进行维护，如监控日志、性能调优和故障排查，是保持集群稳定运行的关键。 ...
hadoop2.7.2 +hbase1.2.0
06-28
本资源提供了hadoop2.7.2和hbase1.2.0的集群环境搭建所需的软件，使得用户能够在本地或者云环境中搭建一套完整的Hadoop HDFS（Hadoop Distributed File System）和HBase分布式数据库。 Hadoop是Apache基金会的一个...
基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装
weixin_34125592的博客
07-28 254
写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： CentOS 6.5，Hadoop 2.7，Java 1.7 Hive 2.0.0，Zookeeper 3.4.8， Hbase 1.2.2 ...
基于Hadoop2.6.0的Mahout0.12.1的配置与使用
PanPan的专栏
05-10 2441
一. Mahout的安装 1.下载 在http://mirror.bit.edu.cn/apache/mahout/0.12.1/下载地址中下载apache-mahout-distribution-0.12.1.tar.gz 2.解压 tar -C /opt/Mahout -zxvf mahout-distribution-0.12.1.tar.gz    (我将压缩包解压到了/op
18、大数据之HBase开发
小茗同学IT的博客
06-09 997
1. hbase开发1.1. 配置HBaseConfiguration包：org.apache.hadoop.hbase.HBaseConfiguration作用：通过此类可以对HBase进行配置用法实例：Configuration config = HBaseConfiguration.create();说明： HBaseConfiguration.create() 默认会从classpath ...
大数据基础（三）Ubuntu下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用
星门学派（Star School）
06-04 3216
Ubuntu下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用 环境： Ubuntu Server 14.04.04 amd64 Hadoop 2.6.2  参考： http://itindex.net/detail/49323-mahout-%E5%AD%A6%E4%B9%A0-mahout 新版的配置有略微改动 1、下载 http://mirror.bi
hadoop2.5.2 升级 hadoop2.6.0
weixin_34178244的博客
06-03 124
2019独角兽企业重金招聘Python工程师标准>>> ...
分布式系统常见软件架构模式
Ben的专栏
07-25 961
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 296
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 769
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 491
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
搭建Hadoop 2.6.0+Hbase 1.12+mahout 0.9 集群教程
"Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建" 在大数据处理领域，Hadoop是一个开源的分布式计算框架，而HBase是一个基于Hadoop的分布式数据库，适用于大规模数据存储。Mahout则是一个机器学习库，用于构建数据挖掘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值