Hbase+hadoop在linux下的配置安装

最新推荐文章于 2024-01-21 16:03:25 发布

pichunhan

最新推荐文章于 2024-01-21 16:03:25 发布

阅读量352

点赞数

文章标签： hadoop hbase

本文链接：https://blog.csdn.net/pichunhan/article/details/55050847

版权

一. hadoop安装

1.下载

直接官方网站下载

2.配置

最新版本的hadoop 是在主目录下的/etc/hadoop目录下

主要修改

core-site.xml

	<configuration>
		<property>
        		<name>fs.defaultFS</name>
        		<value>hdfs://localhost:9000</value>
    		</property>
    		<property>
       		 	<name>hadoop.tmp.dir</name>
        		<value>file:/Users/pichunhan/Documents/hadoop/tmp</value>
    		</property>
	</configuration>

	   hdfs-site.xml

	<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
       <value>file:/Users/pichunhan/Documents/hadoop/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
          <value>file:/Users/pichunhan/Documents/hadoop/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>localhost:9001</value>
    </property>
    <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
    </property>
</configuration>





mapred-site.xml
<configuration>
		<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.admin.user.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
    </property>
</configuration>


 
yarn-site.xml
<configuration>
	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

<!-- Site specific YARN configuration properties -->

</configuration>





3.启动
初始化到主目录下 执行  ./hadoop namenode -format
启动是到主目录下/sbin目录下的 start-dfs.sh start-yarn.sh
4.注意事项
 java环境的问题(如默认是/usr/bin下,但是MAC系统没有权限)
二. hbase安装
1.下载
直接官方网站下载
2.配置
主要配置hbase-site.xml
<configuration>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
       <name>hbase.zookeeper.quorum</name>
      <value>localhost</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <property>
    	<name>hbase.zookeeper.property.dataDir</name>
    	<value>/Users/pichunhan/Documents/zookeeper</value>
  </property>
</configuration>



3.启动
在主目录下的/bin目录下执行 start-hbase.sh
4.注意事项
1.同样JAVA环境需要注意
2.因为hbase依赖hadoop底层存储,所以注意配置要相对应