Windows10虚拟机上的spark环境搭建

最新推荐文章于 2024-02-18 01:14:45 发布
VIP文章 最新推荐文章于 2024-02-18 01:14:45 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 吴玲 文章标签： windows10 spark vmware centos linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37788308/article/details/78367910
版权

（ps:*需要各种安装包的可以把邮箱留下哦*）

1、虚拟机搭建

我是按照这个教程来安装VMware的：
http://jingyan.baidu.com/article/215817f78879c21edb142379.html
以上方法安装以后需要产品密钥，在此贡献出小伙伴的密钥：
VF58R-28D9P-0882Z-5GX7G-NPUTF

2、VM安装centOS虚拟机的教程

我是按照下面这个教程来得：
http://www.jb51.net/article/116641.htm

（1）处理报错

报错：已将该虚拟机配置为使用 64 位客户机操作系统。但是，无法执行 64 位操作。

最低0.47元/天 解锁文章
云南省高校数据化运营管理工程研究中心
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
（windows）虚拟机搭建spark
huitailangZz的博客
09-23 3562
对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，
在虚拟机中安装spark
Apple2467556206的博客
10-27 2980
一、下载spark的压缩包 解压 tar -zxvf 压缩名 给解压缩后的文件名重新命名为spark mv spark-2.3.2-bin-hadoop spark 二、修改配置文件 进入spark/conf目录 把spark-env.sh.template文件复制一份并创建文件spark-env.sh cp spark-env.sh.template spark-env.sh spark-env.sh配置如下: export JAVA_HOME=/opt/app/jdk1.8.0_201 export
虚拟机启动spark命令
最新发布
蓝易云
02-18 597
如果你想在分布式模式下运行Spark，你需要先启动Spark的master和worker节点。在虚拟机中启动Spark，你需要先确保你已经安装了Spark和相关的依赖，例如Java。请记住，你需要根据你的实际情况替换。
spark 安装详细步骤
qq_58476985的博客
10-11 2666
3、在目录/home/hadoop/software下解压：tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz。4、进入conf目录,复制文件cp spark-env.sh.template spark-env.sh。6、cd 切换到sbin目录下使用 ./start-all.sh 命令。5、vim spark-env.sh 进入文件编辑 点击 i；7、cd 到bin目录 使用./saprk-shell。jps后看到worker和Master节点。
虚拟机配置spark
junkmachine的博客
09-16 2138
虚拟机配置spark
Spark基础学习笔记：Spark RDD案例分析
py20010218的博客
06-20 1345
Spark基础学习笔记：Spark RDD案例分析
Spark环境搭建
01-20
环境搭建 Spark On Yarn Hadoop环境 设置CentOS进程数和文件数(重启生效) [root@CentOS ~]# vi /etc/security/limits.conf * soft nofile 204800 * hard nofile 204800 * soft nproc 204800 * hard nproc 204800 ...
hadoop与spark环境搭建.pdf
07-27
linux端的hadoop和spark环境搭建： Linux环境设置 1设置固定IP（静态） 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0...
spark环境搭建
01-22
spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建
Spark环境搭建-Windows
03-27
Spark环境搭建-Windows
3.向hdfs上传删除文件
03-13
3.向hdfs上传删除文件。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
使用虚拟机从小白开始搭建Spark集群
wy的点滴
10-03 1万+
前言此篇博文记录一个小白如何用虚拟机搭建一个集群的血泪史，用来体验Spark的分布式计算。 在搭建之前，先理清一些概念。 Spark有三种集群搭建方式。分别为 独立集群模式，即standalone模式 搭建在Hadoop生态圈的YARN之上 搭建在Mesos之上 此篇讲述的是第2种。 而第2种集群方式，是建立在第1种之上的。也就是说，搭建了第2钟，就可以同时使用第1、2种了。 YARN是什么？
Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法
热门推荐
u012604314的博客
06-07 1万+
一、概述        对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark 集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可
Linux虚拟机上Spark的安装过程
安纳西丶小雨的博客
06-17 3890
Spark的安装过程首先要确认Scala安装好Spark单机模式的安装测试完全分布式的安装配置启动基于Zookeeper的HA的配置 首先要确认Scala安装好 第一步去 Scala 官网 https://www.scala-lang.org/ 下载安装包 上传并解压到 /home/hadoop01/apps/scala-2.11.8 配置环境变量 export SCALA_HOME=/home/...
spark学习：（一）虚拟机安装及软件要求
Yang838020787的博客
01-04 1893
1 Linux虚拟机的安装 参考：https://blog.csdn.net/ProgrammingWay/article/details/78237856 采用的是VMWare，CentOS6.9。因为是在自己电脑上进行实验，故架设三台虚拟机，分别命名为master（192.168.xxx.001），slave1（192.168.xxx.002），slave2（192.168.xxx.003...
Spark在虚拟机上安装及环境配置
tmh1995的博客
07-21 2972
1.将压缩包通过xftp放入/opt中 2.cd /opt 3.tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz 4.mv spark-2.3.4-bin-hadoop2.6 soft/spark234 5.cd soft/spark234/conf/ 6.cp spark-env.sh.template spark-env.sh 7.cp slaves.template slaves slaves中设置master节点和worker节点(主，从) 8.vi spark-env
在windows下虚拟机配置spark集群最强攻略！
li2007211的博客
03-19 905
vmware 新建虚拟机：http://blog.csdn.net/qq_33233768/article/details/74700672bios win10 的设置更改：https://jingyan.baidu.com/article/8275fc864d423e46a03cf638.htmlcentos ios 安装：http://www.jb51.net/article/116790.h...
Spark入门(一): VMware虚拟机搭建Spark集群
Redemption1997的博客
09-29 4888
文章目录一、搭建方法二、准备三、系统环境配置四、软件安装与配置1. 软件下载安装2.Hadoop配置3.Spark配置五、虚拟机克隆六、启动集群七、踩坑经历分享 一、搭建方法 在虚拟机上搭建集群的方法通常有两种 1.类似于真实的机器上部署，首先要进行密钥授权使各台机器之间能够免密码相互访问，然后在主节点上将各个软件配置好，分发各个从节点。 2.采用虚拟机克隆的方式，先进行软件的配置，然后将mast...
windows本地sparkstreaming开发环境搭建及简单实例
06-28
### 回答1： Windows本地Spark Streaming开发环境搭建及简单实例： 1. 首先需要安装Java JDK和Scala，可以在官网上下载对应版本的安装包进行安装。 2. 下载Spark的二进制包，解压到本地目录。 3. 配置环境变量，将Spark的bin目录添加到PATH中。 4. 在本地启动Spark集群，可以使用以下命令： ``` spark-submit --class org.apache.spark.examples.streaming.NetworkWordCount --master local[2] %SPARK_HOME%\examples\jars\spark-examples_2.11-2.4.0.jar localhost 9999 ``` 这个命令会启动一个本地的Spark集群，并运行一个简单的Spark Streaming应用程序，它会从本地的9999端口接收数据，并对数据进行实时计算。 5. 在另一个命令行窗口中，使用以下命令向Spark Streaming应用程序发送数据： ``` nc -lk 9999 ``` 这个命令会启动一个本地的Netcat服务器，它会将输入的数据发送到9999端口。 6. 在Spark Streaming应用程序的控制台输出中，可以看到实时计算的结果。 以上就是在Windows本地搭建Spark Streaming开发环境及简单实例的步骤。 ### 回答2： 搭建windows本地Spark Streaming开发环境需要准备以下几个步骤： 一、安装Java 需要先安装Java作为Spark的运行环境，推荐安装Java8及以上的版本，可以通过官方网站下载安装包。 二、安装Spark 官方网站提供了Spark的下载地址，选择合适的版本进行下载，并解压缩到本地硬盘上。 三、安装Python 需要安装Python来运行Spark Streaming的示例程序，如果已经安装了Anaconda，则可以直接使用。 四、安装PySpark PySpark是Spark的Python版，需要用pip安装，安装命令： pip install pyspark 搭建好本地开发环境之后，可以编写Spark Streaming的简单示例程序。 首先，需要导入相应的库： from pyspark.streaming import StreamingContext from pyspark import SparkContext 接下来，定义StreamingContext，设置批次时间，Spark Streaming的数据输入源等： sc = SparkContext(appName="PythonStreamingQueueStream") ssc = StreamingContext(sc, 1) rddQueue = [] inputStream = ssc.queueStream(rddQueue) 接下来，可以定义数据处理函数，并对输入源进行处理： def process(time, rdd): print("========= %s =========" % str(time)) try: if not rdd.isEmpty(): count = rdd.count() print("Word count in this batch: ", count) except Exception as e: print(e) inputStream.foreachRDD(process) 最后，需要启动StreamingContext，并将输入源写入队列： ssc.start() for i in range(5): rddQueue.append(sc.parallelize(["hello world"] * 10)) time.sleep(1) ssc.stop(stopSparkContext=True, stopGraceFully=True) 以上就是简单的Spark Streaming示例程序，可以通过这个示例进一步了解Spark Streaming的开发环境搭建和基本的使用。 ### 回答3： Spark是一个快速、通用和可扩展的计算引擎，支持在线数据处理。Spark Streaming是Spark生态系统中的一个组件，允许对实时数据进行流式处理和分析。在本地环境下进行Spark Streaming开发需要进行如下步骤： 1. 安装Java JDK和Scala环境 Spark需要Java JDK和Scala环境来运行。可以从Oracle官方网站下载Java JDK，在Scala官方网站下载Scala环境。 2. 下载Spark并解压缩 从Spark官方网站下载Spark，并解压缩到本地目录。 3. 配置环境变量 在环境变量中配置SPARK_HOME、JAVA_HOME、SCALA_HOME和PATH变量，以便在命令行中启动Spark。 4. 编写Spark Streaming应用程序 可以使用Scala编写Spark Streaming应用程序。在Spark Streaming中，可以使用DStreams（离散流）来处理数据。 5. 运行Spark Streaming应用程序 使用命令行启动Spark Streaming应用程序，可以使用Spark submit命令。例如，可以使用以下命令启动应用程序： ``` $SPARK_HOME/bin/spark-submit --class com.example.MyApp myapp.jar ``` 其中“com.example.MyApp”是程序入口类，myapp.jar是打包后的应用程序包。 简单实例： 以下是使用Spark Streaming进行单词计数的示例： ```scala import org.apache.spark._ import org.apache.spark.streaming._ object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount") val ssc = new StreamingContext(conf, Seconds(1)) val lines = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) wordCounts.print() ssc.start() ssc.awaitTermination() } } ``` 该应用程序从本地套接字上读取数据流，并计算每个单词出现的次数。在命令行中可以使用以下命令启动该应用程序： ``` $SPARK_HOME/bin/spark-submit --class WordCount \ --master local[2] wordcount.jar localhost 9999 ``` 其中，--master local[2] 指定使用本地模式，并使用2个CPU核心。localhost 9999是要从上面读取数据的本地套接字。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值