Mapreduce,Hive,Spark平台搭建

最新推荐文章于 2024-08-01 08:58:44 发布
最新推荐文章于 2024-08-01 08:58:44 发布
阅读量500 收藏 2
点赞数
分类专栏： platform 文章标签： hadoop spark hive scala Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zhongsigen/article/details/81704405
版权
本文详细介绍了在Ubuntu环境下，如何搭建Mapreduce、Hive和Spark平台。通过配置Hadoop环境，包括Java和Hadoop的安装，实现节点间的SSH无密码登录。接着部署Hive数据仓库，包括安装MySQL、配置Hive-site.xml以及测试Hive。最后，讲解了Spark的配置和测试，包括在YARN上部署Spark以及运行Spark实例。
摘要由CSDN通过智能技术生成

Mapreduce,Hive,Spark平台搭建

欢迎光临我的github page

说明

平台搭建成功后，使用Scala语言进行算法设计和应用的开发。文末有使用scala设计的Item-Based Collaboration Filtering和SlopeOne 两个协同过滤算法

一、搭建准备

VMWare Workstation

Ubuntu 14.04 Server.iso

Xshell——远程连接主机终端

Server 版安装配置
新建三台虚拟机，安装时选择OpenSHH Server预安装环境

一台作为master

另两台作为slave，命名为slave1和slave2

master的配置比slave要稍微高一些

IP 设置
VMnet8是VM配置的虚拟网卡

设置VMnet8，选择「NAT 模式」

设置子网IP （192.168.142.0）和子网掩码（255.255.255.0）

Ubuntu 系统的登录和 IP 的固化

输入 ifconfig 回车查询当前的 ip 地址，准备将其长期绑定到当前虚拟机,为了方便后续实验。

master的ip：192.168.142.128

slave1的ip：192.168.142.130

slave2的ip：192.168.142.132

此时的 IP 地址是由 DHCP 服务器动态分配的，为了让这个 IP 地址能一直与这台
虚拟机绑定，我们需要改变系统启动时获取 IP 的方式，从 DHCP 切换到静态 IP
地址，为此需要编辑 Linux 的网卡配置文件（/etc/network/interfaces），输入命令

sudo vi /etc/network/interfaces

回车，可以看到 eth0 的 IP 获取方式是 dhcp：

此时需要修改 ip 的获取方式从 DHCP 到 static，设置静态的 ip 地址、子网掩码和
默认网关。

把这个文件更改为：

#This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto eth0
iface eth0 inet static
address 192.168.142.128
gateway 192.168.142.2
netmask 255.255.255.0

为了进一步固化 DNS 服务器 IP，输入

sudo vi /etc/resolvconf/resolv.conf.d/bas

将里面的内容替换成nameserver 192.168.142.2，vi 保存

系统的登录和 IP 的固化重启后完成

使用Xshell连接三个虚拟机终端

Xshell.png

下载lrzsz工具
用于虚拟机与宿主机之间文件的上传和下载

sudo apt-get update

sudo apt-get install lrzsz

rz命令，从宿主机传文件至虚拟机

sz命令，从虚拟机获取文件至宿主机

二、Hadoop 及相关环境的安装

开源分布式平台 Hadoop 可以聚合多个计算机形成集群，在各个节点上安装配置完Hadoop后可以直接提交分布式代码到集群计算。本次实验可以在个人电脑上用VMware完成，或使用天河二号上的 OpenStack平台创建内存为2G的虚拟机资源完成。

安装包准备

Hadoop环境——hadoop-2.6.0.tar.gz

Java环境——jdk-8u60-linux-x64.tar.gz

虚拟机ip配置测试

sudo vi /etc/hosts #编辑 /etc/hosts 文件，插入角色与 IP 映射

ping master -c 4 #尝试用角色名 ping 其它主机，一次 4 个包

hosts文件修改为：

127.0.0.1       localhost

192.168.142.128 master
192.168.142.130 slave1
192.168.142.132 slave2

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

三个虚拟机能够使用主机名（不是ip）ping通即配置正确

配置 SSH 无密码登录
保障了 Hadoop 可以通过角色名在局域网里找到各个节点，为了让 Hadoop 可以进
一步读取、操作各个节点，需要赋予其登录的权限，意即让 Hadoop 拥有各个节点的普通用户账
号，从而在需要操作各个节点时直接用对应的账号登录获取操作权限。SSH 协议可以为节点上的
账户创建唯一的公私钥，然后利用这些公私钥实现无密码登录，从而让 Hadoop 直接绕开传统的
账号密码登录过程，直接用公私钥访问节点。

生成各个节点的 SSH 公私钥：

cd ~/.ssh # 如果没有该目录，先执行一次 ssh localhost
rm ./id_rsa* # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa # 一直按回车就可以

为了让每个节点都拥有其它节点的公钥，要先把所有公钥放进一个文件里

  1. 在 master 上，将 master 的公钥复制到 authorized_keys 文件里：
cat ./id_rsa.pub >> ./authorized_keys # cat 命令用于提取内容，>>输出重定向
  1. 将 slave1、slave2 的公钥文件发送给 master，此时的传送要输入密码：
scp ~/.ssh/id_rsa.pub hadoop@master:/home/hadoop/
  1. Master 将接收到的 slave1 的公钥文件里的内容提取追加到 authorized_keys 文
    件里：
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
  1. 将 slave2 的公钥内容也放进 authorized_keys 文件，然后将
    authorized_keys 文件分别发送到两个 slave 的~/.ssh/下：
scp ~/.ssh/authorized_keys hadoop@slave1:/home/hadoop/.ssh/

搭建成功表现：每个节点尝试使用 ssh <角色名>的命令直接登录其它节点，直到每个节点都可以
成功免密码登录其它节点，则免密码登录配置成功！ 如在 master 上输入：ssh slave1即可直接登陆slave1的虚拟机，不需要再输入密码登陆，便于后续实验操作。

配置 Java环境和Hadoop环境

安装包准备：
jdk-8u60-linux-x64.tar

hadoop-2.6.0.tar.gz

  1. 安装 JDK
    将上传的 JDK 压缩包（jdk-8u60-linux-x64.tar）放到根目录/home/hadoop/，解
    压并放到指定的文件夹：
sudo mkdir -p /usr/local/jvm
tar -zxvf jdk-8u60-linux-x64.tar.gz -C /usr/local/jvm
  1. 安装 Hadoop

在各个节点上将 hadoop 解压到/usr/local/目录下，改变其所属用户和所属组（让
hadoop 软件用 hadoop 账号登录时对 hadoop 文件夹拥有最高权限）：

tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
sudo mv /usr/loca/hadoop-2.6.0 /usr/local/hadoop #mv 实现重命名
sudo chown -R hadoop:hadoop /usr/local/hadoop

将当前的 PATH 环境变量提取保存到 P.sh

环境变量如下：

export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/jvm/jdk1.8.0_60/bin:/usr/local/jvm/jdk1.8.0_60/bin:/usr/local/hadoop/bin:/sbin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/local/jvm/jdk1.8.0_60/bin:/usr/local/hive/bin

export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export JAVA_HOME=/usr/local/jvm/jdk1.8.0_60
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export PATH=$PATH:${JAVA_HOME}/bin:$HADOOP_HOME/bin:$HADOOP/sbin:$PATH:${HIVE_HOME}/bin

之后每次重启系统都需要重定向环境变量

echo $PATH >> ~/setenv.sh
vi ~/P.sh

使环境变量生效：

source ~/setenv.sh

查看java版本信息，如果出现版本信息则环境配置成功

java -version
javac -version

重点：hadoop节点配置

修改 slaves 文件，让 hadoop 知道自己可以聚合的节点名（保证与 hosts 里的角色
名一致）

vi /usr/local/hadoop/etc/hadoop/slaves
master
slave1
slave2

修改 core-site.xml 文件如下：
配置端口和路径

vi /usr/local/hadoop/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->

<configuration>
最低0.47元/天 解锁文章
泽泽馥泽泽
关注
专栏目录
MapReduce开发环境搭建
m0_50689246的博客
08-11 1004
MapReduce开发环境搭建
hadoop+hive+spark+zookeeper+hbase大数据环境搭建
fengwuxichen的博客
04-17 918
1. 硬件环境 主机名 IP地址 操作系统 master 172.16.34.101 CentOS Linux release 7.3.1611 slave01 172.16.34.102 CentOS Linux release 7.3.1611 slave03 172.16.34.103 CentOS Linux release 7.3.1611 2. 软件版本 ...
mapreduce搭建
qq_52584391的博客
11-30 2367
mapreduce搭建
Hive中MR（MapReduce）、Tez和Spark执行引擎对比
最新发布
My_wife_QBL的博客
08-01 1088
Hive是基于Hadoop的数据仓库工具，提供了一种SQL-like的查询语言（HiveQL），用于对存储在Hadoop分布式文件系统（HDFS）中的数据进行分析。Hive将用户的查询转换为底层的执行计划，并通过不同的执行引擎进行处理。特性MapReduceTezSpark执行方式分阶段（Map/Reduce）有向无环图（DAG）基于内存的计算性能较低较高极高容错性强强强开发复杂性较高中等较低适用场景批处理交互式查询、复杂处理实时处理、机器学习资源需求适中。
Mapreduce+Hive+Spark+Scala平台搭建
weixin_30549175的博客
06-21 293
Mapreduce+Hive+Spark+Scala平台搭建 说明 平台搭建成功后，使用Java语言进行算法设计和应用的开发。文末有使用java设计的逻辑回归（Logistics Regression）做小数据集的二分类问题。 一、搭建准备 VMWare Workstation Ubuntu 14.04 Server.iso Xshell——远程连接主机终端 Server 版安装配置 新建三台虚拟...
搭建map-reduce开发环境
sun_xo的博客
06-02 331
大数据学习笔记之四——《搭建map-reduce开发环境》
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台
qq_740785701的博客
10-18 1677
1.目标 1.1 在图形窗口运行 1.2 完成Eclipse及插件安装 1.3 JDK安装 2.前期准备 2.1 装系统 详细请点击这里 2.1.1 2.2 节点创建用户 2.2.1 创建组 （可以在bass普通用户下操作，可以在root用户下操作。若在bass需要提高权限sudo，root用户则不用。） $ sudo useradd -u 285 -g 285 -m -s /bin/bash angel 用户号为285，用户组号为285，用户名为angel。 2.2.2 设置angel用户组及其密码 s
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
基于Linux平台下的Hadoop和Spark集群搭建研究.pdf
09-06
"基于Linux平台下的Hadoop和Spark集群搭建研究" 本文主要研究了基于Linux平台下的Hadoop和Spark集群搭建，旨在提高计算速率和数据性能。Hadoop是最流行的处理平台，主要解决了数据存储和分布式计算的问题，而Spark...
win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx
09-17
在Windows 10环境下搭建Hadoop生态系统，包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件，是一项繁琐但重要的任务，这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
Windows下搭建环境测试Mapreduce--集群测试
weixin_47260194的博客
03-09 1761
创建Maven工程 设置Maven配置 导包 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version>...
配置mapreduce开发环境（简单易懂，轻松上手）
03-27
配置mapreduce开发环境（简单易懂，轻松上手）一步一步按照教程操作就行
Hadoop-MapReduce和Yarn-搭建
伟红-long-term
07-26 191
建立在Hadoop-ha搭建的基础上 一、MapReduce配置 hadoop的window版本解压到E:\usr\local\hadoop-2.6.5，要求路径不能有特殊符号 在Windows中配置两个环境变量： HADOOP_USER_NAME=root HADOOP_HOME=E:\usr\local\hadoop-2.6.5 将hadoop的bin和sbin添加到PATH中%HA...
3.MapReduce—搭建集群
小羽的博客
07-19 455
节点结构 HOST NN JN DN ZKFC ZK RM NM tongyuzhe1 * * * tongyuzhe2 * * * * * * tongyuzhe3 * * * * * tongyuzhe4 * * * * DN和NM时一一对应的 YARN和HDFS没有启动先后关系 单机情况必须配置项 mapreduce on yarn mapred-site.xml <property> <name>mapreduce.
使用Cloudera Manager搭建MapReduce集群及MapReduce HA
qq_36306519的博客
04-27 213
使用Cloudera Manager搭建MapReduce集群及MapReduce HA
MapReduce环境搭建步骤（伪分布式）（个人使用版）
qq_39228423的博客
06-10 2078
MapReduce环境搭建步骤 1、mapred-site.xml.template 的修改 打开mapred-site.xml.template，其中 opt是你安装hadoop-2.7.5的目录 打开该文件命令： vi /opt/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template 输入 <!--使用yarn作为资源管理：local、clas...
Hadoop、MapReduce、Hive、Spark
光尘的博客
03-29 573
hadoop Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群的大型数据集的分布式处理。它被设计成从单个服务器扩展到数千台机器，每个机器提供本地计算和存储。 数据文件被分成多个块存储在各个计算机上，提供冗余备份机制。这就是HDFS分布式文件存储系统。 hadoop集群上的每台计算机都有自己的cpu，充分利用这些cpu进行并行计算。这就是mapreduce。 Hive 基于hadoop的数据仓库工作，可以将结构性的数据映射成一张数据库表，提供HiveQL语句（类sql）
大数据：Hadoop基础常识hive，hbase，MapReduce，Spark
2401_84049001的博客
04-01 1708
今天关于面试的分享就到这里，还是那句话，有些东西你不仅要懂，而且要能够很好地表达出来，能够让面试官认可你的理解，例如Handler机制，这个是面试必问之题。有些晦涩的点，或许它只活在面试当中，实际工作当中你压根不会用到它，但是你要知道它是什么东西。最后在这里小编分享一份自己收录整理上述技术体系图相关的几十套腾讯、头条、阿里、美团等公司的面试题，把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。还有。
基于MapReduce进行项目实践的一系列环境配置（Centos，JDK，Hadoop，Hive等）
JiaoJy
05-26 743
基于MapReduce进行项目实践的一系列环境配置（Centos，JDK，Hadoop，Hive等）介绍一、环境和工具二、Centos7安装JDK11.0.7三、Centos7部署Hadoop3.2.1（伪分布式）四、Windows10下Eclipse搭建Hadoop3开发环境五、Centos7安装Hive3.1.2（MySQL8已提前安装成功） 介绍 本篇文章主要记录利用MapReduce进行数据清洗，并将数据导入Hive数据库，进而对数据进行操作和处理，将结果导入MySql数据库并进行可视化整个项目所用
CentOS7搭建大数据环境：Hadoop与Hive2.1.1安装配置教程
在搭建大数据处理平台时，Hadoop是一个核心组件，它提供了分布式文件系统HDFS和MapReduce计算框架。本资源聚焦于在Linux环境下，特别是CentOS7系统上安装配置Hive 2.1.1，Hive作为一个基于Hadoop的数据仓库工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值