大数据伪分布式安装hadoop、hbase、hive等

本文档详细介绍了在伪分布式环境下安装部署大数据基础组件hadoop、hbase和hive的步骤,包括下载jar包、安装jdk、配置防火墙、设置ssh免密登录、修改配置文件等。同时,文中还提供了每个组件的关键配置参数,如hadoop的hdfs-site.xml和mapred-site.xml,hbase的hbase-site.xml,以及hive的hive-site.xml。安装完成后,通过启动和验证步骤确保组件正常运行。
摘要由CSDN通过智能技术生成

工欲善其事,必先利其器。首先从安装部署说起吧...

 

大数据组件jar包下载地址: 

CDH下载地址:  http://archive.cloudera.com/cdh5/cdh/5/ 

Apache下载地址:http://archive.apache.org/dist/ 

 

2、安装jdk: 

解压:tar -xzvf jdk-7u79-linux-x64.tar.gz -C /opt/ 

进入到jdk的目录,验证jdk是否ok 

bin/java -version 

 

3、安装hadoop 

伪分布模式安装步骤: 

关闭防火墙 

修改ip 

修改hostname 

设置ssh自动登录 

安装jdk 

安装hadoop 

 

下面是详细步骤: 

hadoop的伪分布安装,一般步骤: 

1、设置ip,使物理机与虚拟机直接进行互通。 

2、关闭防火墙 

service iptables stop 

查看防火墙是否被关闭,我们可以采用下面的命令进行查看: 

service iptables status 

3、关闭防火墙的自动运行 

查看防火墙的详细情况: 

chkconfig --list | grep iptables 

设置所有的值都为off也就是关闭防火墙的自动启动方式: 

chkconfig iptables off 

然后再进行查看是否已经生效,就可以了。 

 

4、设置一下主机名: 

查看并设置主机名: 

hostname进行查看主机名, 

 

修改文件彻底的改变主机名: 

vi /etc/sysconfig/network 

修改完成后,我们可以重启一下,进行显示出我们修改以后的主机名 

reboot -h now 

 

5、设置一下ssh免密码登录。 

首先执行命令生成相应的文件: 

ssh-keygen -t rsa 

然后进入到ssh中赋值并重命名一个新的文件: 

cd ~/.ssh 

cp id_rsa.pub authorized_keys 

验证ssh + 主机名(上面进行设置的) 

6、将ip与hostname进行绑定。 

执行的命令是:vi /etc/hosts  新增一行  ip + 空格 + 主机名 

检查   ping 主机名 例如: 192.168.159.4   hadoop 

进入hadoop的相关根目录,然后呢。修改配置信息就OK了 

$HADOOP_HOME/etc/hadoop/ 

1、hadoop-env.sh 

export JAVA_HOME=/opt/jdk1.7.0_79 

  1. core-site.xml 

    <property> 

            <name>hadoop.tmp.dir</name> 

            <value>file:/opt/hadoop-2.5.0-cdh5.3.6/tmp</value> 

            <description>Abase for other temporary directories.</description> 

        </property> 

        <property> 

            <name>fs.defaultFS</name> 

            <value>hdfs://hadoop:9000</value> 

        </property> 

  2. Hdfs-site.xml 

<property> 

        <name>dfs.replication</name> 

        <value>1</value> 

    </property> 

    <property> 

        <name>dfs.namenode.name.dir</name> 

        <value>file:/opt/hadoop-2.5.0-cdh5.3.6/tmp/dfs/name</value> 

    </property> 

    <property> 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MrZhangBaby

请博主喝杯奶茶

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值