hdfs、hive、sqoop、spark环境搭建

已于 2022-04-07 19:41:23 修改
阅读量3k 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop hbase hive sqoop spark
于 2022-04-07 18:15:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27396609/article/details/124018456
版权

python安装参考

hadoop安装包
链接：https://pan.baidu.com/s/1DQl8yUcuY9fgjvw_VWSzFQ
提取码：6666

  • 下载jdk python hadoop hbase hvie 等放到 ~/software目录下 然后解压到 ~/app目录下

    tar -zxvf 压缩包名字 -C ~/app/

  • linux设置

    #关闭selinux模式
setenforce 0
vi /etc/selinux/config
SELINUX=disabled

 #关闭防火墙
 systemctl stop firewalld
 systemctl disable firewalld
 
 # 禁用交换分区 swap
 swapon -a
 #修改交换分区为0
 vi /etc/fstab
/dev/mapper/centos_centos--master-swap swap                    swap    defaults        0 0
#查看交换分区使用情况
free -h
vi /etc/hosts
#添加
127.0.0.1 hadoop000

HDFS环境搭建

  • 配置环境变量

    vi ~/.bash_profile

export JAVA_HOME=/root/app/jdk1.8.0_321
export JRE_HOME=/root/app/jdk1.8.0_321/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH

#保存退出后
source ~/.bash_profile

  • 进入到解压后的hadoop目录 修改配置文件

    • 配置文件作用

      • core-site.xml 指定hdfs的访问方式
      • hdfs-site.xml 指定namenode 和 datanode 的数据存储位置
      • mapred-site.xml 配置mapreduce
      • yarn-site.xml 配置yarn

    • 修改hadoop-env.sh

      cd /root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vi hadoop-env.sh
#找到下面内容添加
# The java implementation to use.
export JAVA_HOME=/root/app/jdk1.8.0_321

    • 单节点情况修改slaves

      vi slaves
hadoop000

    • 修改 core-site.xml 在 节点中添加

      <property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop000:8020</value>
</property>

    • 修改hdfs-site.xml 在 configuration节点中添加

      <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/app/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/app/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

    • 修改 mapred-site.xml

    • 默认没有这个 从模板文件复制

      cp mapred-site.xml.template mapred-site.xml

    • ​在mapred-site.xml 的configuration 节点中添加

       <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>

    • 修改yarn-site.xml configuration 节点中添加

      <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

    • 来到hadoop的bin目录

          ./hadoop namenode -format (这个命令只运行一次)

    • 启动hdfs 进入到 sbin

      ./start-dfs.sh

    • 启动启动yarn 在sbin中

      ./start-yarn.sh

HBase 的安装

  • 配置伪分布式环境

    • 环境变量配置

      vi ~/.bash_profile
export HBASE_HOME=/root/app/hbase-1.2.0-cdh5.7.0
export PATH=$HBASE_HOME/bin:$PATH
#保存退出后
source ~/.bash_profile

    • 配置hbase-env.sh

      cd /root/app/hbase-1.2.0-cdh5.7.0/conf
vi hbase-env.sh

export JAVA_HOME=/root/app/jdk1.8.0_321
#--如果你是使用hbase自带的zk就是true，如果使用自己的zk就是false
export HBASE_MANAGES_ZK=false

    • 配置hbase-site.xml

      <property>
    <name>hbase.rootdir</name>　　--hbase持久保存的目录
    <value>hdfs://hadoop000:8020/opt/hbase</value>   
</property>
<property>
    <name>hbase.cluster.distributed</name>  --是否是分布式
    <value>false</value>
</property>
 <property>     
   <name>hbase.zookeeper.property.clientPort</name>    --指定要连接zk的端口
       <value>2181</value>    
 </property>    
 <property>        
       <name>hbase.zookeeper.property.dataDir</name>   
   <value>/root/app/hbase/zkData</value>    
 </property>          
 <property>  
     <name>hbase.master.info.port</name>  
     <value>60010</value>  
 </property>

    • 启动hbase（启动的hbase的时候要保证hadoop集群已经启动）

      cd /root/app/hbase-1.2.0-cdh5.7.0/bin
./start-hbase.sh
hbase shell

    • 输入hbase shell（进入shell命令行）

Hive 安装部署

  • 进入到 解压后的hive目录 找到 conf目录, 修改配置文件

    cd /root/app/hive-1.1.0-cdh5.7.0/conf
cp hive-env.sh.template hive-env.sh
vi hive-env.sh

    在hive-env.sh中指定hadoop的路径

    HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

  • 配置环境变量

    vi ~/.bash_profile

export HIVE_HOME=/root/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH

source ~/.bash_profile

  • 根据元数据存储的介质不同，分为下面两个版本，其中 derby 属于内嵌模式。实际生产环境中则使用 mysql 来进行元数据的存储。

    • 内置 derby 版：
      bin/hive 启动即可使用
      缺点：不同路径启动 hive，每一个 hive 拥有一套自己的元数据，无法共享

    • mysql 版： 需要建立好数据库hive

      • 上传 mysql驱动到 hive安装目录的lib目录下

        mysql-connector-java-5.*.jar

      • vi conf/hive-site.xml 配置 Mysql 元数据库信息(MySql安装见文档)

        <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 插入以下代码 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value><!-- 指定mysql用户名 -->
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value><!-- 指定mysql密码 -->
    </property>
   <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://127.0.0.1:3306/hive?useSSL=false</value>
    </property><!-- 指定mysql数据库地址 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value><!-- 指定mysql驱动 -->
    </property>
        <!-- 到此结束代码 -->
  <property>
    <name>hive.exec.script.wrapper</name>
    <value/>
    <description/>
  </property>
</configuration>

        启动

        cd /root/app/hive-1.1.0-cdh5.7.0/bin
hive --service metastore &

hive

Sqoop安装

  • 配置环境变量

    vi ~/.bash_profile

export SQOOP_HOME=/root/app/sqoop-1.4.6-cdh5.7.0
export PATH=$SQOOP_HOME/bin:$PATH

source ~/.bash_profile

  • 到 $SQOOP_HOME/conf 目录下 配置sqoop_env.sh

    cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
#在sqoop_env.sh中
export HADOOP_COMMON_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export HADOOP_MAPRED_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export HIVE_HOME=/root/app/hive-1.1.0-cdh5.7.0

  • 拷贝 mysql驱动到$SQOOP_HOME/lib目录下

     cp ~/software/mysql-connector-java-5.1.49.jar  ~/app/sqoop-1.4.6-cdh5.7.0/lib/

  • 测试sqoop环境

    sqoop-version

    看到如下输出 说明sqoop安装成功

    Sqoop 1.4.6-cdh5.7.0
git commit id
Compiled by jenkins on ******

spark的安装部署

cd /root/app/spark-2.4.7-bin-hadoop2.6/conf
cp slaves.template slaves
vi slaves
#localhost
hadoop000

  • 修改配置文件

    • spark-env.sh(需要将spark-env.sh.template重命名)

      • 配置java环境变量
        • export JAVA_HOME=java_home_path
      • 配置PYTHON环境
        • export PYSPARK_PYTHON=/xx/pythonx_home/bin/pythonx
      • 配置master的地址
        • export SPARK_MASTER_HOST=node-teach
      • 配置master的端口
      • export SPARK_MASTER_PORT=7077
      cp spark-env.sh.template spark-env.sh
vi spark-env.sh

export SPARK_HOME=/root/app/spark-2.4.7-bin-hadoop2.6
export JAVA_HOME=/root/app/jdk1.8.0_321
export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export YARN_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$YARN_HOME/etc/hadoop

export SPARK_MASTER_HOST=192.168.31.10
export SPARK_MASTER_PORT=7077
export SPARK_LIBRARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export SPARK_LOCAL_DIRS=/root/app/spark-2.4.7-bin-hadoop2.6/tmp
export PYSPARK_PYTHON=/root/app/python36/bin/python3.6

  • 配置spark环境变量

    vi ~/.bash_profile

export SPARK_HOME=/root/app/spark-2.4.7-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

source ~/.bash_profile
CharlesDavid_coder
关注
专栏目录
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
JM1307hhh的博客
06-15 1333
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
sqoop、spark操作hive问题记录
无一技之长
06-06 256
安装hadoop、hive、spark、sqoop等，可以参照相关教程。安装完成后，需要配置相关的环境变量： 其中，比较重要的是需要添加： export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/conf:$HIVE_HOME/lib这样，sqoop 通过import方式导入数据到hive表才能在hive命令行上看到。可以参考：Hive metastore三种配置方式_reesun的博客-CSDN博客_hive.metastore.uris配置为了
hive on spark集群环境部署（彻底摆脱做毕设没环境）
m0_64893323的博客
11-13 1211
hive on spark环境部署
hadoop完全分布式+hive+sqoop+hbase+spark+zookeeper
su_mingyang的博客
06-20 7217
hadoop2.7 完全分布式部署教程 hadoop 2.7 + hive 安装部署 hive2 的安装部署 sqoop 工具的安装 spark集群的安装 hbase集群部署
spark/hadoop/hive/alluxio/sqoop/zookeeper 安装文档
qq_14950717的博客
05-03 911
一、关闭防火墙 临时关闭： sudo service iptables stop 永久关闭： sudo chkconfig iptables off 查看运行状态 sudo service iptables status 二、添加用户 useradd hadoop passwd hadoop 然后输入需要配置的密码 为新创建的用户添加root权限 在root用户下面，（su
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop
weixin_30437847的博客
01-13 262
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍。 Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hiv...
基于Sqoop+Hive+Spark+MySQL+AirFlow+Grafana的工业大数据离线数仓项目
最新发布
03-04
在大数据项目中，AirFlow能确保数据从收集到分析的整个流程自动化、有条不紊地运行，例如设置定时任务从MySQL抽取数据，用Sqoop导入HDFS，然后启动Hive和Spark作业进行分析。 最后，Grafana是一个强大的可视化工具...
hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc
10-20
在构建一个完整的Hadoop生态系统时，我们需要搭建多个组件，包括Zookeeper、HBase、Hive、MySQL、Kafka以及Spark，并且它们都要运行在HDFS之上。下面将详细介绍这些组件的安装与配置过程。 1. **Zookeeper**： ...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...
Hadoop集群环境部署指南：HDFS, Zookeeper, Kafka, MySQL, Hive, Sqoop, Spark
"该文档是关于大数据环境安装部署的说明，涵盖了Hadoop集群的基础搭建，包括HDFS、Zookeeper、Kafka、MySQL、Hive、Sqoop和Spark等组件。在安装过程中，详细阐述了HDFS的配置，包括设置JAVA_HOME环境变量，配置core-...
Hive+Spark离线数仓工业项目实战--环境构建（3）
技术专家
12-23 1077
项目环境配置，根据需求实现项目环境配置
基于spark的Hive2Pg数据同步组件
zcc_0015的专栏
01-05 1362
行是只读的，因此您无法更新行的值。： prep是一个PrepareStatement对象，这个对象无法序列化，在标1的地方执行，而传入map中的对象是需要分布式传送到各个节点上，传送前先序列化，到达相应机器上后再反序列化，PrepareStatement是个Java类，如果一个java类想(反)序列化，必须实现Serialize接口，PrepareStatement并没有实现这个接口，对象prep在driver端，collect后的数据也在driver端，就不需prep序列化传到各个节点了。
hadoop+hive+sqoop+spark单机版搭建
qq_34135615的博客
02-19 2265
1 下载软件包 软件包hadoop2.7.6+hive2.3.7+sqoop1.4.7+jdk8 hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.6/ hive下载地址: http://archive.apache.org/dist/hive/hive-2.3.7/ sqoop下载地址: https://archive.apache.org/dist/sqoop/1.4.7/ jdk 下载地址: https://repo
spark 实现sqoop类似功能的数据同步工具
weixin_42094092的博客
07-24 2401
一年多前写的用spark 实现sqoop类似功能的数据同步工具,拿出来分享一下 优点: 1.用配置代替sqoop命令,维护简单,添加新增同步表或下线同步表,只需在sql中增加或删除即可 2.实测性能比sqoop好,当然前提是内存资源足够 实现功能: 1.通过配置需要同步的表清单元数据,实现多表并行从mysql同步到hive 2.通过配置表同步类型,实现全量同步,增量同步,是否重跑功能 2.通过配置表的并行分区字段,分区度(并行度),实现表数据分区并行同步 3.同步过程中,动态检测源表表结构字段变化,并做相应
Hadoop大数据应用生态圈中最主要的组件及其关系
木羊的专栏
03-31 9397
Hadoop Common Hadoop Common是在Hadoop0.2版本之后分离出来的HDFS和MapReduce独立子项目的内容，是Hadoop的核心部分，能为其他模块提供一些常用工具集，如序列化机制、Hadoop抽象文件系统FileSystem、系统配置工具Configuration，并且在为其平台上的软件开发提供KPI等。其他Hadoop子项目都是以此为基础而建立来的。 ...
hadoop、hbase、hive、spark分布式系统架构原理
热门推荐
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
05-15 4万+
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理， hadoop、spark、Hbase、Hive、hdfs简介 Hbase：是一个nosql数据库，和mongodb类似 hdfs...
Hadoop，hive，spark分别都是什么
qq_37395293的博客
02-22 4649
Hadoop，hive，spark在大数据生态圈的位置 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？ 这篇文章写的通俗易懂，很适合对Hadoop形成一个初步的认识 1、Hadoop 缘起： 谷歌的三篇论文：GFS（大数据的存储），MapReduce（数据分析），BigTable（存储非结构化数据） 结构化数据：是高度组织和整齐格式化的数据。它是可以放入表格和电子表格中的数据类型，存储与关系型数据库中 关系型数据库：表名，字段，比如Mysql（SQL是一种用于操
大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume
七宝.博客
12-18 1413
集群搭建集群规划Linux环境准备Hadoop集群搭建Yarn搭建Hive搭建Spark搭建Spark Standalone模式Spark Yarn模式Kafka搭建Hbase搭建Sqoop搭建Flume搭建Redis搭建 集群规划 角色 node01 node02 node03 node04 client Hadoop-NameNode √(主) √(备) Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值