MAC上配置haddop+Hbase开发环境

写在前面:

    这里需要知道的是,我们想要使用Hbase,那么就一定要先安装hadoop,同时我们需要保证我们的电脑上存在JDK,一般情况下建议大家安装jdk1.7 或 jdk1.8

    1.安装jdk1.7或jdk1.8

    因为本机已经安装了jdk1.8,所以这里不再赘述。

    这里建议:

     修改主机名为localhost:>sudo scutil --set HostName localhost

    2. 配置ssh连接

    配置ssh连接主要是保证命令 >ssh localhost 可以免密码正常登陆

    具体配置方法:

    (1)ssh-keygen -t rsa      (一路回车直到完成)

    (2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    (3)chmod og-wx ~/.ssh/authorized_keys

     然后重启终端,在命令行下输入>ssh localhost   如果不需要输密码即可进入,证明设置成功。

     如果仍需要输入密码,那可能是文件权限的问题,尝试执行 >chmod 755 ~/.ssh

     3.安装hadoop

        (1)通过brew安装hadoop:

        > brew install hadoop

      (2)进入hadoop的安装目录   (我这里安装的是3.0.0 大家根据对应版本该路径哈)

       >cd /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop

        (3)修改core-site.xml文件

<configuration>  
        <property>  
                <name>hadoop.tmp.dir</name>  
                <value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp</value>  
        </property>  
        <property>  
                <name>fs.defaultFS</name>  
                <value>hdfs://localhost:8020</value>  
        </property>  

</configuration>      

         (4)修改hdfs-site.xml

   <configuration>  

        <property>  
                <name>dfs.replication</name>  
                <value>1</value>  
        </property>  
        <property>  
                <name>dfs.namenode.name.dir</name>  
                <value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/name</value>  
        </property>  
        <property>  
                <name>dfs.namenode.data.dir</name>  
                <value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/data</value>  
        </property>  

</configuration> 

       (5)  添加环境变量  在 ~/.bash_profile 文件中

         >vi ~/.bash_profile

         export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.3/libexec  

         export PATH=$PATH:${HADOOP_HOME}/bin 

       (6)使环境变量生效

          >source ~/.bash_profile

         (7)格式化HDFS

         >cd /usr/local/Cellar/hadoop/3.0.0/bin  

         >./hdfs namenode -format

        到这里hadoop都已经配置完成了,可以开始启动hadoop了 

      --hadoop启动方法:

      >cd /usr/local/Cellar/hadoop/3.0.0/sbin

      >./start-dfs.sh

      >jps     

      如果jps出现如下的信息,则证明启动成功:

       1206 DataNode  

       1114 NameNode  

       1323 SecondaryNameNode 


     4.安装Hbase

      (1)采用brew的方式安装hbase:

        >brew install hbase

        (2) 修改hbase-env.sh文件:    (这里我安装的是hbase 1.2.6)

        >~/.bash_profile  

         export HBASE_CLASSPATH=/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop  
         export HBASE_MANAGES_ZK=true  
         export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec  
         export HBASE_LOG_DIR=${HBASE_HOME}/logs  

         export HBASE_REGIONSERVERS=${HBASE_HOME}/conf/regionservers

         (3)修改hbase-site.xml 

          >cd /usr/local/Cellar/hbase/1.2.6

<configuration>  
  <property>  
    <name>hbase.rootdir</name>  
    <value>hdfs://localhost:8020/hbase</value>  
  </property>  
  <property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
  </property>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
</configuration>  

         (4)在regionservers文件中添加

           localhost

       (5)在 ~/.bash_profile 文件中添加:

           >vi ~/.bash_profile

           export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec  

           export PATH=$PATH:${HBASE_HOME}/bin  

       (6)使改变生效:

            >source ~/.bash_profile

        到这里hbase已经成功安装完成了

        --hbase启动方法:

         >cd /usr/local/Cellar/hbase/1.2.6/bin
         >./start-hbase.sh
         >jps    (查看启动的服务)

        如果出现如下信息,则证明启动成功:        

         30465 HRegionServer  
         30354 HMaster  
         1605 HQuorumPeer  
         1206 DataNode  
         30534 Jps  
         1114 NameNode  

         1323 SecondaryNameNode 


      现在我们就可以愉快的进行hbase的使用了。

     这里如果我们要通过python与hbase进行交互,我们可以采用一个happybase的包,来实现连接。


     我叫晶心,一个努力进阶的程序媛,希望我们一起学习,共同进步,喜欢我的总结就关注我吧~


Spring Boot和Hadoop是两个不同的技术,Spring Boot是一个Java Web开发框架,而Hadoop是一个大数据处理框架。它们并没有直接的联系。如果您想要使用Spring Boot来操作Hadoop集群,则可以使用Hadoop提供的Java API,或者使用一些第三方的Java库来完成操作。 如果您要使用Hadoop 3.x版本,可以按照以下步骤进行操作: 1. 在pom.xml文件中添加hadoop-client依赖: ``` <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.x.x</version> </dependency> ``` 2. 配置Hadoop集群的信息,例如core-site.xml、hdfs-site.xml、mapred-site.xml等,可以通过以下方式: ``` @Configuration public class HadoopConfig { @Bean public Configuration hadoopConfiguration() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:8020"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "resourcemanager:8032"); conf.set("yarn.resourcemanager.scheduler.address", "resourcemanager:8030"); conf.set("mapreduce.jobhistory.address", "historyserver:10020"); conf.set("mapreduce.jobhistory.webapp.address", "historyserver:19888"); return conf; } } ``` 3. 编写Java程序,使用Hadoop提供的API进行操作: ``` @Configuration public class HadoopConfig { @Autowired private Configuration hadoopConfiguration; @Bean public FileSystem fileSystem() throws Exception { return FileSystem.get(hadoopConfiguration); } } ``` 以上是一个简单的示例,您可以根据自己的需求进行修改和扩展。如果您还有其他问题,请随时提出。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小千爱编程呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值