vm环境配置：CentOS64+hadoop3.14+hive3.1.2+spark2.3.1+scala-2.12.8+python3.8.6+mysql8.0.21

最新推荐文章于 2022-06-21 13:48:47 发布
最新推荐文章于 2022-06-21 13:48:47 发布
阅读量170 收藏
点赞数 1
分类专栏： 1 文章标签： hadoop spark hdfs mapreduce 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lianying03/article/details/109197014
版权

1.vm
安装vm
2.centos
64位
3.hadoop3.14
可以配置伪分布模式
4.hive3.1.2
注意版本问题
5.spark2.3.1
配置前提环境
6.scala-2.12.8
版本问题
7.python3.8.6
配置环境
8.mysql8.0.21
权限问题

lianying03
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
VMware环境配置
小五的世界
11-25 2635
vmware环境配置：JDK、Hadoop、hive、sredis、spark、Scala等
新建vm 配置环境
weixin_62595121的博客
04-22 1179
1 点击创建选择典型下一步 2 选择稍后下一步 3 4 5 6 7 编辑虚拟机设置 8 9 设置镜像文件 确定 开启虚拟机 10 选择第一个 安装centos 11 12 软件选择最小化 也可以选择带桌面版 13 点进去确认一下安装位置 13 打开网络和主机名 连上网络 可以更改主机名 14 安装 15 设置密码 16 创建用户 17 重启 18 登录 19 yum包...
Linux VM环境配置
weixin_33890526的博客
07-06 80
1. 直接打 ifconfig ，显示 bash: ifconfig: command not found      打入全路径，查看IP     /sbin/ifconfig  2. 主机ping不通虚拟机， 配置NAT 到适配器设置中，开启网卡 再次 ping 虚拟机IP 測试 3.  接下来设置 SecureCRTPortable， 这种话，...
Hive on Spark环境搭建（解决Hive3.1.2和Spark3.0.x版本冲突）
loftiest的博客
06-21 7422
使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本 。 由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。 下载Hive 3.1.2源码 ，上传并解压 apache-hive-3.1.2-src.tar.gz下载Linux版IDEA，安装到带有桌面的Linux上。（使用root操作IDEA，bin/idea.sh打开idea）用idea打开apach
spark-3.1.2兼容多版本hive
w757227129的博客
05-31 1350
spark 3.1.2版本对多版本hive的兼容处理
大数据资源整合，基于Cent不需要考虑版本兼容的问题Spark+Hadoop+Hive+Scala+sbt+ZooKeeper
最新发布
09-17
本方案集成了CentOS环境下的Spark、Hadoop、Hive、Scala、sbt和ZooKeeper,无需考虑版本兼容问题,可以直接用于大数据处理和分析。 【适合人群】 需要在CentOS下搭建大数据处理平台的工程师。 【包含内容】 - Spark ...
hadoop全套配置详细步骤（基础环境搭建+hadoop集群搭建+hive搭建）
08-15
本文件包含hadoop集群搭建的详细步骤，包含基础环境搭建，Hadoop集群搭建，Hive搭建。小白放心食用，无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注：本文里安装的...
CentOS 7 配置Tomcat9+MySQL方案
09-09
Tomcat是由Apache软件基金会下属的Jakarta项目开发的一个Servlet容器，按照Sun Microsystems提供的技术规范，实现了对Servlet和JavaServer Page（JSP）的支持，并提供了作为Web服务器的一些特有功能，如Tomcat管理和...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
VMWARE虚拟机网络环境配置
热门推荐
qq_41311691的博客
04-24 2万+
VMWARE虚拟机网络环境配置 1.查看物理机ip信息 命令：ipconfig 2.配置网络适配器环境 ① 点击“控制面板”，选择“网络和Internet” ② 点击“查看网络状态和任务” ③ 点击“更改适配器设置” ④ 选择VMnet8那个适配器，邮件选择“属性” ⑤ 选择IPV4一项，点击右下角的“属性” ⑥ 修改ip地址信息与DNS服务器信息，注意ip地址要与步骤1中查出来的网段对应，比如我上边查出来的是192.168.31.67，这里配置的时候也是要配成以192.168.31
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
hxtog的博客
02-09 4085
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,
3.1.2 Hive on Spark配置
qq_45263635的博客
01-07 3674
*3.1.2* *Hive* *on* *Spark配置* *1）兼容性说明* 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。 编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。 *2********）在Hive所在节点部署Spark* 如果
hadoop3.1.3+hive3.1.2+spark2.4.5组成hive on spark
qq_35585375的博客
09-17 2320
hadoop 配置就不记录了，百度都有 hive就是用开源的3.1.2版本，官方默认是支持spark2.4.5的 这里的spark用的是自己编译的版本，依赖于hadoop3.1.2，并排除了hive依赖 spark-default 如下 spark.master yarnspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop01:8020/spark-historyspark.executor.memory 1gspark.driver
Hive3.1.2整合Spark3.0.0-HiveOnSpark
epitomizelu的专栏
03-26 6259
一，整合原理 1，HiveOnSpark Hive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析成为物理执行计划，将物理执行计划交由计算引擎执行计算，默认的执行引擎是MapReduce，但MapReduce执行速度慢，随着Spark的崛起，Hive也支持使用Spark作为计算引擎，这就是HiveOnSpark 2，SparkOnHive 比较容易混淆，二者差距还是很大的，SparkOnHive只是使用了Hive的元数据服务，Sql解析由Spark完成、计算也由Spark完成。 二，整合步骤
hive 3.1.2 环境搭建(使用mysql)以及示例运行
fanghailiang2016的博客
05-12 579
hive-env.shHADOOP_HOMEHIVE_CONF_DIRHIVE_AUX_JARS_PATHhive-site.xml<configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/hive_wa...
3.14 有关于网上hadoop的简单理解
shichangcheng1314的博客
03-14 312
定义:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计是两个模块：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. 下图是对于数据处理的简单理解： 杂乱无章的数据经过Haddop的集群后得到的结果
hadoop-3.3.0+mysql-8.0+hive-3.1.2+java-8搭建数仓踩坑记录（含优化）
ycfn97的博客
08-21 1087
本文验证了hadoop3.3.0整合hive3.1.2在java8环境下是可行的，而在高于8的jdk版本中是不可行的，由于笔者一直使用java14作为开发环境，所以在安装时踩了很多坑，但是也收获颇丰。写这篇文章的目的是让大家在安装的过程中少走弯路，同时也把我在踩坑过程中的发现分享给大家。 安装过程所有的tar包均为Apache官网下载，关于安装hadoop，可以参考我的另一篇文章： centos8+java14+hadoop-3.3.0搭建hadoop集群（全网最新） 但是这里必须强调的是：必须使用j.
VMware 网络环境配置（win7系统）
pan的博客
06-16 1万+
我们在装完VMware虚拟机之后，经常需要虚拟机与本地计算机通信，或者需要虚拟机上网，这就需要我们进行虚拟机的网络配置。这篇文章将简单介绍VMware网络配置的三种方式，并完成NAT模式下的网络配置。 一、VMware的网络配置模式 我们在装完VMware虚拟机之后，经常需要虚拟机与本地计算机通信，或者需要虚拟机上网，下面我们详细了解下VMware的三种连接方式。 在安装完成VMware之后，软件...
mac m1 max+vmware+centos8学习hadoop——(一)基本软件安装和环境配置
03-16
安装完成后，您需要配置CentOS 8的环境，包括安装Java、Hadoop等必要的软件。您可以通过yum命令来安装这些软件，例如： sudo yum install java-1.8.0-openjdk-devel sudo yum install hadoop 安装完成后，您需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值