搭建sparkmllib开发环境的一些坑-----

最新推荐文章于 2024-07-18 06:22:07 发布
最新推荐文章于 2024-07-18 06:22:07 发布
阅读量5.5k 收藏 3
点赞数 1
分类专栏： 人工智能 工作实践 大数据 文章标签： spark 机器学习 sparkMllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongdouzin/article/details/79793290
版权
本文介绍了在Ubuntu或CentOS上搭建Spark MLlib开发环境的步骤，强调了避免使用Windows，并提供了遇到的问题及解决方案，包括POM文件配置、IDEA集成Scala以及本地Spark环境的设置。通过解决这些问题，成功实现本地测试，但要注意代码还需打包才能在集群上运行。
摘要由CSDN通过智能技术生成

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合，不过sparkmllib的短板是无法支持深度学习，而tensorflow和deeplearning是支持深度学习的。


好了废话不多说，直接干

sparkmllib的开发环境建议搭建在ubantu，或者centos上，不要windows

不要windows！！！，不要windows！！！，不信你可以试试，死了别怪我没提醒。


1，安装centos和ubantud开发环境，可以是真机，也可以是虚拟机

2，安装jdk，建议安装jdk8且版本与IDEA的版本对应

3去IDEA官网下载linux版本的tar包，百度centos或者ubantu安装IDEA这个简单

4下载scala，配置环境变量，忘了百度


然后重点的坑

1pom文件建好后，没有jdk和scala

第一步，点击file，找到project structure设置全局变量和全局包

第二步看图

在settings找到plugins看看IDEA是否已经集成了scala

最低0.47元/天 解锁文章
生一先生
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
spark-2.1.1-bin-hadoop2.7.tar.gz
11-02
总的来说，"spark-2.1.1-bin-hadoop2.7.tar.gz"提供了在Hadoop 2.7环境中运行Spark所需要的所有组件和配置，使得用户能够快速地搭建起一个大数据处理平台，进行高效的数据分析和处理工作。无论是数据科学家、开发者...
spark使用MLlib时pom.xml的配置
Toby的博客
07-26 3673
新项目要使用机器学习做一个二分类模型预测，在IDEA中使用Maven新创建了一个工程model，当我在脚本中import 相关模块的时候，提示无法加载。 这是因为在maven仓库中还没有ML包，需要在POM文件中配置才行。 一、POM文件配置方法 第一步：在POM文件中配置spark-mllib依赖 <dependency> <groupId>org.apache.spark</groupId> .
Spark MLlib 环境搭建超详细教程
xxubing123的专栏
01-16 1944
文章目录1、系统及环境版本2、环境下载2.1 Spark 下载2.2 hadooponwindos 下载2.3 Hadoop 下载2.4 JDK下载2.5 IntelliJ IDEA2.6 scala 下载2.7 IntelliJ-scala plug 下载http://plugins.jetbrains.com/plugin/1347-scala 选择版本下载 下载完毕之后，应该有以下7个文件：...
Apache Spark：SparkMLlib机器学习基础
最新发布
kkchenjj的博客
07-18 857
MLlib, 或称为 Machine Learning Library, 是 Apache Spark 生态系统中的一个关键组件，专注于提供丰富的机器学习算法和工具。它旨在简化数据科学家和工程师在大规模数据集上进行机器学习模型开发和训练的过程。MLlib 支持多种机器学习任务，包括分类、回归、聚类、协同过滤、降维、特征提取和选择，以及推荐系统。此外，它还提供了基础统计功能，如假设检验和统计模型评估。
spark 指定相关的参数配置 num-executor executor-memory executor-cores
weixin_30596165的博客
08-08 722
num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个...
springboot2.0 + spark MLlib 必须使用的包
snetlogon20的博客
10-04 739
一、 基础包 spark-assembly-1.6.1-hadoop2.6.0.jar 二、spark mllib 包 至 https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4下下载spark-2.4.4-bin-hadoop2.7.tgz 解压后至解压目录下的 spark-2.4.4-bin-hadoop2.7\jars， 将所有sp...
关于spark的mllib学习总结（Java版）
hellozhxy的博客
08-20 1912
本篇博客主要讲述如何利用spark的mliib构建机器学习模型并预测新的数据，具体的流程如下图所示：  加载数据 对于数据的加载或保存，mllib提供了MLUtils包，其作用是Helper methods to load,save and pre-process data used in MLLib.博客中的数据是采用spark中提供的数据sample_libsvm_data.txt，其有一...
haddop\scala\spark\winutils-master安装包
10-14
`winutils-master.zip` 提供了在Windows上运行Hadoop所需的一些基本工具，比如HDFS的启动脚本和配置文件，使得开发者能够在Windows操作系统上搭建和测试Hadoop集群。 安装和使用这些组件通常涉及以下步骤： 1. **...
vagrant-spark-playground：使用Vagrant的Apache Spark集群模拟
02-06
**四、搭建Spark集群步骤** 1. 安装Vagrant和VirtualBox：确保已安装这两个基础组件，Vagrant用于管理和配置虚拟机，VirtualBox作为虚拟化平台。 2. 解压`vagrant-spark-playground-master` 并进入项目目录。 3. ...
Spark入门基础--简介及环境搭建
06-08
## Spark开发环境搭建 在本地或开发环境中，通常使用集成开发环境（IDE）如IntelliJ IDEA或Eclipse，配合Scala、Java、Python或R语言进行Spark应用开发。以下是一般步骤： 1. **安装编程语言**: 根据选择的语言...
spark-2.3.0-bin-hadoop2.7版本.zip
03-25
综上所述，"spark-2.3.0-bin-hadoop2.7版本.zip"是一个包含了完整的Spark 2.3.0发行版，集成了Hadoop2.7的环境，可供开发者在本地或集群环境中快速搭建Spark开发和测试环境。这个版本的Spark不仅在核心功能上有所...
spark-mllib_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-mllib_2.11-2.1.3-SNAPSHOT.jars
idea 利用maven创建spark项目
探索数据奥秘的博客
11-04 1720
1、file--new project 进入如下页面 点击next， 2、进入如下页面 Name：填入项目名称 Location：对应项目文件地址 GroupId、ArtifactId，随意，会在pom文件中见到 Version：默认，会在pom文件中见到 点击 finish， 3、进入如下页面，需要配置pom文件，添加依赖 4、pom文件增加代码 <inceptionYear>2008</inceptionYear> <pr.
spark mllib配置pom.xml错误 Multiple markers at this line Could not transfer artifact net.sf.opencsv:ope...
aanuxzio586136的博客
12-29 666
　　刚刚spark mllib，在maven repository网站http://mvnrepository.com/中查询mllib后得到相关库的最新dependence为： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark...
SparkMLlib加载模型报错 org.json4s.jackson.JsonMethods$.parse$default$3()Z
qq_64955378的博客
11-29 291
SparkMLlib加载模型报错 org.json4s.jackson.JsonMethods$.parse$default$3()Z
机器学习库（MLlib）指南（Spark 2.4.5）
人month神话
05-04 930
MLlib是Spark的机器学习（ML）库。它的目标是使机器学习的实际应用变得容易和可扩展。在较高层次上，它提供了以下工具： ML算法：常见的学习算法，如分类、回归、聚类和协作过滤 特征化：特征提取、转换、降维和筛选 工作流（Pipelines）：构建、评估和调整ML工作流的工具 持久性：保存和加载算法、模型和工作流 实用程序：线性代数、统计学、数据处理等。 注：基于DataFrame的...
spark-ml的pom文件
weixin_39031707的博客
08-26 526
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav
Spark MLlib 入门学习笔记 - 编程环境配置
老胡的笔记
05-18 6260
在windows下配置Spark MLlib的编程环境。
Spark实现K-Means算法
weixin_34254823的博客
05-31 409
K-Means算法是一种基于距离的聚类算法，采用迭代的方法，计算出K个聚类中心，把若干个点聚成K类。 MLlib实现K-Means算法的原理是，运行多个K-Means算法，每个称为run，返回最好的那个聚类的类簇中心。初始的类簇中心，可以是随机的，也可以是KMean||得来的，迭代达到一定的次数，或者所有run都收敛时，算法就结束。 用Spark实现K-Means算法，首先修改pom文件，引入...
Scala+IntelliJ IDEA+Sbt搭建Spark开发环境指南
"Spark开发环境搭建 - 使用Scala+IntelliJ IDEA+Sbt" 在大数据处理领域，Apache Spark是一个流行的开源框架，它提供了高效、易用的数据处理能力。本教程将指导你如何搭建一个基于Scala、IntelliJ IDEA和Sbt的Spark...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生一先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值