hadoop+hbase安装

最新推荐文章于 2024-05-03 15:28:18 发布
最新推荐文章于 2024-05-03 15:28:18 发布
阅读量697 收藏 1
点赞数 2
文章标签： hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwyzsn/article/details/120799536
版权

实验步骤

实现步骤

先看注意点和参考。

  1. 安装Linux系统
  2. 安装Hadoop
  3. 安装hbase
  4. 安装zookeeper
  5. 启动集群

安装Linux系统

有如下几种方式

  • 安装虚拟机
  • 安装双系统
  • 使用服务器
  • docker容器

这里介绍一下虚拟机方式

预先下载vware软件

Ubuntu20.04镜像文件,

  1. 文件->新建虚拟机->自定义->下一步

  2. 选择Linux 和Ubuntu,选择好要安装的位置,配置自己设置,然后一直下一步如下,点击自定义硬件

    image-20211014234012180

    ​ 选择刚刚下载的映像文件

    image-20211014234052148

    image-20211014233537655

    image-20211016122208316

    按照提示界面自主安装

下载一些必要的软件

  • vim或者其他编辑器软件

    sudo apt install vim

  • apt换源

  • 安装jdk

    sudo apt install update
sudo apt install openjdk-8-jdk -y

  • ssh

    su hadoop
ssh-keygen -t rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
chmod 640 ~/.ssh/authorized_keys 
ssh localhost

安装Hadoop

Hadoop有三种安装方式

  • 单机:下载就可以用了,用于测试mp等等…
  • 伪分布:用一台机器模拟集群
  • 分布式:顾名思义

下载Hadoop

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz 

#解压
tar -zxf hadoop-3.2.2.tar.gz -C /usr/local/

#重命名
mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
# 添加权限,
chown -R 777 /usr/local/hadoop/

下载后会得到一个压缩文件

配置伪分布

配置路径

vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

# 退出后保存
#生效
source ~/.bashrc

修改配置信息

cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
vim hdfs.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
        </property>
        <property>
                <name>fs.defaultFS></name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>
<!--hdfs.xml -->
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
	</property>
</configuration>

启动Hadoop

  • 格式namenode 会生成一些基本的信息

    cd /usr/local/hadoop/bin
hdfs namenode -format

  • 启动Hadoop

    cd /usr/local/hadoop/sbin
./start-dfs.sh

    启动成功后应该看到如下的图

    image-20211016141308016

hbase安装

下载解压hbase

wget https://mirrors.cnnic.cn/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz
tar -zxf hbase-2.3.6-bin.tar.gz -C /usr/local
mv /usr/local/hbase-2.3.6/ hbase

配置hbase

#在bashrc中添加bin的路径，也可以不加
export path=....<:/usr/local/hbase/bin>

# 修改权限,为了简单起见
chmod -R 777 /usr/local/hbase

配置hbase-env.sh.

cd /usr/local/hbase/conf
vim hbase-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=false #这里和书上不同设置为false我们自己下载zookeeper进行守护

配置hbase-site.xml

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value> //这里设置分布
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
          <name>hbase.rootdir</name>
          <value>hdfs://localhost:9000/hbase</value>
  </property>

##　下载zookeeper

wget https://mirrors.cnnic.cn/apache/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz

tar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/local

mv /usr/local/apache-zookeeper-3.6.3-bin.tar.gz/ /usr/local/zookeeper

配置zookeeper

cp zoo_sample.cfg zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181#默认端口,如果有冲突可以改,但是hbase也得修改

cd zookeeper/bin #目录下
./zkServer.sh start

全部启动后如下所示

image-20211016151448227

注意点

上述描述了大致的操作过程，可以参考书也可以参考这篇文章，没有全部描述过程但是殊途同归，在安装的时候或多或少会出现一些错误需要注意

  • 善于使用log查看错误

    cat ../logs/hadoop-hadoop-namenode-VM-4-6-ubuntu.log

  • 善于使用搜索引擎 Google=bing > 百度 有助于提高效率，同时，StackOverflow>csdn

  • 需要虚拟机配置分配的稍微大一点，我的虚拟机配置内存6G，处理器2核。我在腾讯的1核内存2G的轻量服务器上配置，启动就几乎占满了空间。

    image-20211016151709099

参考

1核内存2G的轻量服务器上配置，启动就几乎占满了空间。

[外链图片转存中…(img-PyZigcID-1634369802047)]

参考

xwyzsn
关注
【hadoop大数据】HBase 安装
dk18stone的专栏
05-13 399
前置环境： hadoop zookeeper 安装并启动 HBase 安装 解压 HBase 到指定目录： tar -zxvf hbase-1.3.1-bin.tar.gz -C /usr/local 修改 HBase 对应的配置 hbase-env.sh 修改内容 export JAVA_HOME=/usr/local/jdk #禁用HBase自带ZK export HBASE_MANAGES_ZK=false hbase-site.xml 修改内 <configu.
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
hadoop平台-Hbase安装
weixin_43327597的博客
05-12 439
hadoop平台-Hbase安装 1.下载hbase安装包 .首先在Linux本地，新建/data/hbase1目录，用于存放所需文件。 mkdir -p /data/hbase1 切换目录并下载安装包 cd /data/hbase1 wget http://192.168.1.100:60000/allfiles/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz 2.将/data/hbase1目录下，HBase的安装包hbase-1.0.0-cdh5.4.5.tar.
基于Hadoop的hbase安装
CSDNwzl的博客
11-23 1844
hadoop 2.7.1 hbase 1.2.7 hadoop安装 export JAVA_HOME="/home/xxxx/java/jdk1.8.0_221" export HADOOP_HOME="/home/xxxx/hadoop-2.8/hadoop-2.8.5" export HBASE_HOME="/home/xxxx/backup/hbase-1.4/hbase-1.4.13" export PATH="${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HBA.
安装Hadoop以及HBase
qq_53318060的博客
11-29 662
安装hadoop和hbase
【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装
2401_84183070的博客
04-12 681
systemctl start firewalld#开启。systemctl stop firewalld#关闭。
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
- 在Hadoop集群运行的基础上安装HBase，确保Hadoop的相关环境变量被HBase使用。 - 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务，包括Master和RegionServer。 3. **Spark**：...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
在大数据处理领域，Hadoop、HBase和Zookeeper是三个至关重要的组件，它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先，Hadoop是一个开源的分布式计算框架，...
Hadoop+Zookeeper+Hbase安装配置使用.pdf
07-14
Hadoop+Zookeeper+Hbase安装配置使用.pdf
hadoop hive hbase安装过程
03-21
hadoop hive hbase安装过程
hadoop之hbase安装
zhenS1mple的博客
09-15 499
安装HBase前，需要的准备条件 1.HBASE运行需要JDK 2.HBase的底层存储依赖于HDFS,需要安装hadoop环境 3.HBase依赖于ZooKeeper来做分布式协调工作,所以需要安装Zookeeper的环境,博主所用的伪分布式，所以不用hbase内置的 安装HBase 把hbase-1.2.0-cdh5.14.2.tar.gz解压到opt目录下 移动到opt目录 把hbase-1.2.0-cdh5.14.2改名 [root@hadoop100 software]# t
Hadoop、Hbase集群安装
weixin_36837739的博客
10-25 676
HDOOP、HBASE集群搭建
在Hadoop上安装HBase
码农崛起
03-13 864
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问，HBase存储的是松散型数据，具体来说，存储的数据介于映射和关系型数据之间，它是一个开源的、分布式的、多版本的、面向列的存储摸型，它可以直接使用本地文件系统，也可以使用HDFS文件存储系统，下面介绍一下安装过程： 一、解压HBase安装包   二、配置hbase-site.xml文档 　　通过配置h
Hadoop集群搭建之HBase安装
大数据进阶之路
08-10 556
Hadoop集群搭建之HBase安装 1. 准备工作 准备好已经安装了Hadoop的集群服务器之后，下载HBase的安装包并上传至其中一台服务器中。 2. HBase独立模式安装 1. 安装目录规划 统一安装路径：/opt/apps 统一软件存放路径：/opt/software 2. 上传压缩包 1. 将压缩包上传到[/opt/software]目录下，解压到[/opt/apps]目录下 2. 修改[/home/hadoop/.bash_profile]文件，增加以下内容： HBASE_HOME=/op
hadoop学习笔记之Hbase安装
望向星空
03-09 433
环境hadoop2.7.3+zookeeper3.4.9+jdk1.8hbase可以独立部署，不过在此之前如果要部署分布式，需要先设置免密登录SSH安装1.从官网上下载HBase1.2.4并解压到用户目录/home/user/hadoop 2.配置环境变量 3.配置hbase-env.sh#jdk安装位置 export JAVA_HOME=/home/user/hadoop/jdk1.8.0_1
Hadoop/hbase单机安装
小蜗牛的博客
05-21 247
转载自：https://www.cnblogs.com/ypsy/p/9969276.html 1.Hadoop 环境配置 编辑 /etc/profile 文件 输入: vim /etc/profile 整体的配置文件: export HADOOP_HOME=/home/hadoop/hadoop2.7 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.pat
Hadoop下 hbase安装
xin980724的博客
06-29 505
一 、将hbase文件放入opt中 解压tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz 二、修改文件 进入hbase文件下conf文件cd /opt/hbase/conf 1、修改hbase-env.sh vi hbase-env.sh 在末尾加入export JAVA_HOME=/opt/jdk1.8.0_102 2、修改hbase-site.xml vi hbase-site.xml <configuration> <property> <n
【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装(1)
最新发布
2401_84166497的博客
05-03 2750
因为HBase依赖于Hadoop的分布式文件系统HDFS和资源管理框架YARN，而且HBase的各个版本都会对Hadoop的版本有一定的要求。在Zookeeper中，需要配置Zookeeper集群，以支持HBase的分布式环境下的协调和管理。其中，@后面的参数是集群的名称，冒号后面的参数是目标路径。进入hbase配置文件路径，编辑hbase-env.sh配置文件，然后把以下圈起来的两行给注释掉，就不会报错了。输入以下命令，编辑/etc/hosts文件，修改ip映射，所有集群都要改，与前面修改好的ip一致。
Linux环境下Hadoop+HBase集群安装教程
"这篇文档提供了详尽的Hadoop和HBase在Linux环境下的安装教程，特别适合CentOS 6.x系统。教程涵盖了从必备软件检查、JDK安装到Hadoop集群配置的所有步骤，强调了主机名与IP地址的正确解析对于集群通信的重要性。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值