MAC上配置haddop+Hbase开发环境

写在前面:

    这里需要知道的是,我们想要使用Hbase,那么就一定要先安装hadoop,同时我们需要保证我们的电脑上存在JDK,一般情况下建议大家安装jdk1.7 或 jdk1.8

    1.安装jdk1.7或jdk1.8

    因为本机已经安装了jdk1.8,所以这里不再赘述。

    这里建议:

     修改主机名为localhost:>sudo scutil --set HostName localhost

    2. 配置ssh连接

    配置ssh连接主要是保证命令 >ssh localhost 可以免密码正常登陆

    具体配置方法:

    (1)ssh-keygen -t rsa      (一路回车直到完成)

    (2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    (3)chmod og-wx ~/.ssh/authorized_keys

     然后重启终端,在命令行下输入>ssh localhost   如果不需要输密码即可进入,证明设置成功。

     如果仍需要输入密码,那可能是文件权限的问题,尝试执行 >chmod 755 ~/.ssh

     3.安装hadoop

        (1)通过brew安装hadoop:

        > brew install hadoop

      (2)进入hadoop的安装目录   (我这里安装的是3.0.0 大家根据对应版本该路径哈)

       >cd /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop

        (3)修改core-site.xml文件

<configuration>  
        <property>  
                <name>hadoop.tmp.dir</name>  
                <value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp</value>  
        </property>  
        <property>  
                <name>fs.defaultFS</name>  
                <value>hdfs://localhost:8020</value>  
        </property>  

</configuration>      

         (4)修改hdfs-site.xml

   <configuration>  

        <property>  
                <name>dfs.replication</name>  
                <value>1</value>  
        </property>  
        <property>  
                <name>dfs.namenode.name.dir</name>  
                <value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/name</value>  
        </property>  
        <property>  
                <name>dfs.namenode.data.dir</name>  
                <value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/data</value>  
        </property>  

</configuration> 

       (5)  添加环境变量  在 ~/.bash_profile 文件中

         >vi ~/.bash_profile

         export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.3/libexec  

         export PATH=$PATH:${HADOOP_HOME}/bin 

       (6)使环境变量生效

          >source ~/.bash_profile

         (7)格式化HDFS

         >cd /usr/local/Cellar/hadoop/3.0.0/bin  

         >./hdfs namenode -format

        到这里hadoop都已经配置完成了,可以开始启动hadoop了 

      --hadoop启动方法:

      >cd /usr/local/Cellar/hadoop/3.0.0/sbin

      >./start-dfs.sh

      >jps     

      如果jps出现如下的信息,则证明启动成功:

       1206 DataNode  

       1114 NameNode  

       1323 SecondaryNameNode 


     4.安装Hbase

      (1)采用brew的方式安装hbase:

        >brew install hbase

        (2) 修改hbase-env.sh文件:    (这里我安装的是hbase 1.2.6)

        >~/.bash_profile  

         export HBASE_CLASSPATH=/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop  
         export HBASE_MANAGES_ZK=true  
         export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec  
         export HBASE_LOG_DIR=${HBASE_HOME}/logs  

         export HBASE_REGIONSERVERS=${HBASE_HOME}/conf/regionservers

         (3)修改hbase-site.xml 

          >cd /usr/local/Cellar/hbase/1.2.6

<configuration>  
  <property>  
    <name>hbase.rootdir</name>  
    <value>hdfs://localhost:8020/hbase</value>  
  </property>  
  <property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
  </property>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
</configuration>  

         (4)在regionservers文件中添加

           localhost

       (5)在 ~/.bash_profile 文件中添加:

           >vi ~/.bash_profile

           export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec  

           export PATH=$PATH:${HBASE_HOME}/bin  

       (6)使改变生效:

            >source ~/.bash_profile

        到这里hbase已经成功安装完成了

        --hbase启动方法:

         >cd /usr/local/Cellar/hbase/1.2.6/bin
         >./start-hbase.sh
         >jps    (查看启动的服务)

        如果出现如下信息,则证明启动成功:        

         30465 HRegionServer  
         30354 HMaster  
         1605 HQuorumPeer  
         1206 DataNode  
         30534 Jps  
         1114 NameNode  

         1323 SecondaryNameNode 


      现在我们就可以愉快的进行hbase的使用了。

     这里如果我们要通过python与hbase进行交互,我们可以采用一个happybase的包,来实现连接。


     我叫晶心,一个努力进阶的程序媛,希望我们一起学习,共同进步,喜欢我的总结就关注我吧~


  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小千爱编程呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值