大数据环境搭建 Hadoop+Hive+Flume+Sqoop

已于 2023-06-24 14:14:41 修改
阅读量1.1k 收藏 6
点赞数 1
分类专栏： 环境搭建 文章标签： hadoop 大数据 hive flume sqoop
于 2023-06-15 19:58:35 首次发布
本文为博主原创文章，未经博主允许禁止转载。转载请注明出处，否则保留追究法律责任的权力。
本文链接：https://blog.csdn.net/JM1307hhh/article/details/131196906
版权

目录

零：版本说明

Hadoop：3.1.0
CentOS：7.6
JDK：1.8

一、安装CentOS

这里网上教程很多，就不贴图了
【内存可以尽量大一些，不然Hive运行时内存不够】
在这里插入图片描述

二、Hadoop单机配置

创建tools目录，用于存放文件安装包
在这里插入图片描述
将Hadoop和JDK的安装包上传上去
在这里插入图片描述

创建server目录，存放解压后的文件
在这里插入图片描述
解压jdk
在这里插入图片描述
配置环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置免密登录
配置映射，配置ip地址和主机名映射，以后就可以用主机名代替ip地址
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
生成公钥和私钥
在这里插入图片描述
查看生成的公钥和私钥，并将公钥写入授权文件
在这里插入图片描述
在这里插入图片描述
解压Hadoop
在这里插入图片描述
配置Hadoop
修改配置文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

初始化并启动HDFS
关闭防火墙
在这里插入图片描述
第一次启动需要先初始化HDFS
在这里插入图片描述
配置启动用户
在这里插入图片描述

在这里插入图片描述
配置环境变量，方便启动
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动HDFS

[root@localhost ~]# start-dfs.sh

验证是否启动成功

方式1：
[root@localhost ~]# jps
58466 Jps
54755 NameNode
55401 SecondaryNameNode
54938 DataNode

方式2：访问这个网址，虚拟机地址:9870端口号
192.168.163.129:9870

配置Hadoop（YARN）环境
修改配置文件mapred-site.xml和yarn-site.xml

[root@localhost ~]# cd /opt/server/hadoop-3.1.0/etc/hadoop/
[root@localhost hadoop]# vim mapred-site.xml 

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
</configuration>

[root@localhost hadoop]# vim yarn-site.xml 

<configuration>
	<property>
	<!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可
	以在Yarn 上运行 MapRedvimuce 程序。-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

启动服务

[root@localhost sbin]# pwd
/opt/server/hadoop-3.1.0/sbin
[root@localhost sbin]# vim start-yarn.sh
[root@localhost sbin]# vim stop-yarn.sh

# 在两个文件顶部添加如下内容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

[root@localhost ~]# start-yarn.sh

验证是否启动成功

方式1：
[root@localhost ~]# jps
96707 NodeManager
54755 NameNode
55401 SecondaryNameNode
54938 DataNode
96476 ResourceManager
98686 Jps

方式2：访问这个网址，虚拟机地址:8088端口号
192.168.163.129:8088

三、Hive安装部署

准备好Hive和MySQL这两个安装包
在这里插入图片描述
安装MySQL
卸载CentOS7自带的mariadb

[root@server ~]# rpm -qa|grep mariadb
mariadb-libs-5.5.60-1.el7_5.x86_64
[root@server ~]# rpm -e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps

解压mysql

[root@server ~]# mkdir /opt/server/mysql
[root@server mysql]# cd /opt/tools/
[root@server tools]# tar -xvf mysql-5.7.34-1.el7.x86_64.rpm-bundle.tar -C /opt/server/mysql/

执行安装

# 安装依赖
[root@server tools]# yum -y install libaio
[root@server tools]# yum -y install libncurses*
[root@server tools]# yum -y install perl perl-devel
# 切换到安装目录进行安装
[root@server tools]# cd /opt/server/mysql/
[root@server mysql]# rpm -ivh mysql-community-common-5.7.34-1.el7.x86_64.rpm
[root@server mysql]# rpm -ivh mysql-community-libs-5.7.34-1.el7.x86_64.rpm
[root@server mysql]# rpm -ivh mysql-community-client-5.7.34-1.el7.x86_64.rpm
[root@server mysql]# rpm -ivh mysql-community-server-5.7.34-1.el7.x86_64.rpm

启动Mysql

[root@server mysql]# systemctl start mysqld.service
[root@server mysql]# cat /var/log/mysqld.log | grep password
2023-06-15T07:04:14.100925Z 1 [Note] A temporary password is generated for root@localhost: !=qcAerHW5*r

修改初始的临时密码

[root@server mysql]# mysql -u root -p
Enter password: #上边的那个!=qcAerHW5*r
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> set password=password('root');

授予远程连接权限

mysql> grant all privileges on *.* to 'root' @'%' identified by 'root';
mysql> flush privileges;

设置开机自启动，并检查是否成功

[root@server mysql]# systemctl enable mysqld
[root@server mysql]# systemctl list-unit-files | grep mysqld
mysqld.service                                enabled 
mysqld@.service                               disabled

Mysql相关控制命令

#启动、关闭、状态查看
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld

Hive安装配置
解压Hive

[root@server mysql]# cd /opt/tools
[root@server tools]# ls
apache-hive-3.1.2-bin.tar.gz  hadoop-3.1.0.tar.gz  jdk-8u371-linux-x64.tar.gz  mysql-5.7.34-1.el7.x86_64.rpm-bundle.tar
[root@server tools]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/server

添加mysql_jdbc驱动到hive安装包lib目录下
在这里插入图片描述
修改hive环境变量文件，指定Hadoop安装路径

cd /opt/server/apache-hive-3.1.2-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

在这里插入图片描述
新建hive-site.xml的配置文件，配置存放元数据的MySQL的地址、驱动、用户名
密码等信息

[root@server conf]# vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 存储元数据mysql相关配置 /etc/hosts -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value> jdbc:mysql://server:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>

	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
</configuration>

初始化元数据库

[root@server conf]# cd /opt/server/apache-hive-3.1.2-bin/bin
[root@server conf]# ./schematool -dbType mysql -initSchema

启动Hive
添加环境变量

[root@server conf]# vim /etc/profile

在这里插入图片描述

[root@server conf]# source /etc/profile

# 启动前需要先把hadoop相关的启动起来
[root@server ~]# start-dfs.sh
[root@server ~]# start-yarn.sh
# 启动hive
[root@server ~]# hive

在这里插入图片描述

hive> create database test;
hive> use test;
hive> create table t_student(id int, name varchar(255));
hive> insert into table t_student values(1,'baobei');

在这里插入图片描述

在这里插入图片描述

四、安装部署Flume、Nginx

Flume日志采集工具安装
下载好flume安装包
在这里插入图片描述
解压

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/server/

修改flume配置文件flume-env.sh

[root@server tools]# cd /opt/server/apache-flume-1.9.0-bin/conf
[root@server conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties
[root@server conf]# cp flume-env.sh.template flume-env.sh
[root@server conf]# vim flume-env.sh

在这里插入图片描述
Nginx-web服务器安装

yum install epel-release
yum update
yum -y install nginx --nogpgcheck

开启nginx服务

[root@server conf]# systemctl start nginx

在这里插入图片描述
查看网站的访问日志

[root@server nginx]# cd /var/log/nginx
[root@server nginx]# cat access.log

添加hadoop的相关jar包

[root@server nginx]# cp /opt/server/hadoop-3.1.0/share/hadoop/common/*.jar /opt/server/apache-flume-1.9.0-bin/lib
[root@server nginx]# cp /opt/server/hadoop-3.1.0/share/hadoop/common/lib/*.jar /opt/server/apache-flume-1.9.0-bin/lib
[root@server nginx]# cp /opt/server/hadoop-3.1.0/share/hadoop/hdfs/*.jar /opt/server/apache-flume-1.9.0-bin/lib

创建配置文件taildir-hdfs.conf，监控/var/log/nginx下的日志

[root@server nginx]# cd /opt/server/apache-flume-1.9.0-bin/conf/
[root@server conf]# vim taildir-hdfs.conf

a3.sources.r3.filegroups.f1 = /var/log/nginx/access.log
# 用于记录文件读取的位置信息
a3.sources.r3.positionFile = /opt/server/apache-flume-1.9.0-bin/tail_dir.json
# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://server:8020/user/tailDir
a3.sinks.k3.hdfs.fileType = DataStream
# 设置每个文件的滚动大小大概是 128M，默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动
成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。
a3.sinks.k3.hdfs.rollSize = 134217700
# 默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据
events数据来滚动文件。
a3.sinks.k3.hdfs.rollCount = 0
# 不随时间滚动，默认为30秒
a3.sinks.k3.hdfs.rollInterval = 10
# flume检测到hdfs在复制块时会自动滚动文件，导致roll参数不生效，要将该参数设置为1；否则HFDS文
件所在块的复制会引起文件滚动
a3.sinks.k3.hdfs.minBlockReplicas = 1
# Use a channel which buffers events in memory
a3.channels.c3.type = memory
a3.channels.c3.capacity = 1000
a3.channels.c3.transactionCapacity = 100
# Bind the source and sink to the channel
a3.sources.r3.channels = c3
a3.sinks.k3.channel = c3

启动flume

[root@server apache-flume-1.9.0-bin]# bin/flume-ng agent -c ./conf -f ./conf/taildir-hdfs.conf -n a3 -Dflume.root.logger=INFO,console

在这里插入图片描述

五、Sqoop安装

在这里插入图片描述
上传安装包
在这里插入图片描述
解压

[root@server tools]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/server/

编辑配置文件

[root@server tools]# cd /opt/server/sqoop-1.4.7.bin__hadoop-2.6.0/conf/
[root@server conf]# cp sqoop-env-template.sh sqoop-env.sh
[root@server conf]# vim sqoop-env.sh

在这里插入图片描述
上传mysql的jdbc驱动包到lib目录下
在这里插入图片描述

JM1307hhh
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...
[Hadoop高可用集群]数仓工具之Hive的安装部署（超级详细，适用于初学者）
喜欢水星记的博客
05-15 4019
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成，其设计可快速对 PB 级数据进行操作。
大数据技术之Hadoop(八)——Flume日志采集系统
weixin_63507910的博客
01-15 3537
Flume日志采集系统的认识与操作
Flink、Hive、Flume
qq_70085330的博客
07-14 2519
Flink、Hive、Flume
sqoop和flume简单安装配置使用
最新发布
aj_shang的博客
10-25 1452
sqoop和flume简单配置安装使用
大数据学习 - 平台环境部署
https://wangpengcheng0616.github.io/
10-16 9720
大数据学习--平台环境部署（详细） 本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop、Flume的安装。如有错误还望指出。 目录 一、服务器使用 二、环境准备 三、Hadoop3.1.1 集群环境安装 四、Zookeeper ...
Hadoop生态圈(三驾马车+ZK+Hive+Sqoop+Flume)复习脑图 version-1.0-附件资源
03-05
Hadoop生态圈(三驾马车+ZK+Hive+Sqoop+Flume)复习脑图 version-1.0-附件资源
Hadoop hbase hive sqoop集群环境安装配置及使用文档
10-25
Hadoop hbase hive sqoop集群环境安装配置及使用文档
尚硅谷 大数据 hive oozie sqoop kalfa flume zk hbase Hadoop
08-23
尚硅谷 大数据 hive oozie sqoop kalfa flume zk hbase Hadoop
Flume采集数据到hive&hbase
m0_73734232的博客
11-14 241
Flume采集数据到hive&hbase
Hadoop 之 Hive安装
03-06 973
Hadoop 之 Hive安装
flume+kafka+hive收集用户行为数据
xieedeni的博客
09-28 2360
需求背景 项目中需要将用户的行为数据或者其他数据放入大数据仓库，已有kafka服务。 解决方案 我们可以通过flume获取kafka实时数据并转存储到hdfs。 转存到hdfs后，再通过load data命令加载到Hive表中，hive再处理用户行为数据，最终输出到mysql呈现到用户端。 具体步骤 一. 安装部署Hadoop并启动Hadoop，具体步骤见：Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客 Windows10安装Hive3.1.2_xie..
Kafka 分布式消息队列企业级实战
悦分享
09-20 1385
Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。传统消息队列的应用场景：使用消息队列的好处：1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
HDFS集群+HBase+Flume+Sqoop+MySQL+Hive插件的搭建部署
Joseph25的博客
05-02 1224
安装linux环境 一、防火墙 1、关闭防火墙 ]# service iptables stop 2、从开机启动项中关闭防火墙 ]# chkconfig iptables off 3、查看防火墙状态 ]# service iptables status 4、查看防火墙的开机状态 ]# chkconfig --list | grep iptables //其余两台机器重复上述操作......
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 4355
win环境下大数据Hadoop的部署hadoop+hive环境
Flume+Hadoop+Hive的离线分析系统基本架构
热门推荐
咕噜大大的专栏
05-31 2万+
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，
flume+hadoop+hive 大数据采集处理
凉白开不加冰
06-12 4681
介绍：整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件，并存储在Hadoop HDFS文件系统上，再接着用Hadoop的mapreduce清洗日志文件，最后使用HIVE构建数据仓库做离线分析。 大概怎么部署画了张图，我是一共使用了四台服务器，如果不需要这么多可以自己简化一下，将flume和数据处理都部署到hadoop-master上面，这样只需要两台即可 一、hadoop部署...
搭建大数据集群架构Hadoop+Hive+Hbase+Spark+Zookeeper+Phoenix+Sqoop+Flume+Kafka+Azkaban
BOUBING112的专栏
04-01 7887
大数据集群搭建 目录 概叙 4 1.1 引言 4 1.2 集群拓扑图 5 1.3 整体架构图 5 1.4 设备选型 6 1.5 版本选择 6 1.6 功能分布 7 集群基础配置 7 2.1修改主机名 7 2.2 hosts主机名IP映射文件修改 7 2.3关闭防火墙 8 2.4 配置免秘钥SSH 8 2.5 Jdk安装 8 2.6 Mysql安装 8 集群组件配置 9 3.1 Hado...
大数据之数据采集项目总结——hadoop，hive，openresty，frcp，nginx，flume
qq_43759478的博客
07-04 1523
数据收集阶段结束，进入下一个阶段。
Hadoop+Flume+Kafka+Hive+Sqoop+mysql
09-20
Hadoop是一个开源的分布式计算系统，用于存储和处理大规模数据。 Flume是一个用于在大规模数据集群中高效收集、聚合和移动数据的分布式系统。 Kafka是一个高吞吐量的分布式发布-订阅消息系统，用于处理实时数据流。 Hive是建立在Hadoop之上的数据仓库基础架构，用于进行数据仓库查询和分析。 Sqoop是一个用于将Hadoop和关系型数据库中的数据相互转移的工具，可以将数据导入到Hadoop中或从Hadoop中导出数据。 MySQL是一种关系型数据库管理系统。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值