spark windows环境搭建和初探

最新推荐文章于 2019-10-23 21:35:41 发布
最新推荐文章于 2019-10-23 21:35:41 发布
阅读量90 收藏
点赞数
分类专栏： 安装工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shark803/article/details/89946233
版权

基本环境配置

  1. java jdk 1.8 安装
  2. 安装scalar 环境，可以直接安装绿色版本，配置 SCALA_HOME以及path 即可， 安装成功后，输入scala，可以进入scala命令行，按:q 退出。
  3. ide 安装，推荐 IntelliJ
  4. 安装scala 插件， File - setting-plug in
  5. intellj 可能需要配置JDK
  6. scala lib 安装 项目右键->open modules setting->libraries->加号添加
  7. 添加项目工程中打lib, 右键项目中的lib, 选择add as library
进击的AI奶爸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Spark+NLP】22、下载、安装、部署github上的程序
PrincessLin的专栏
11-06 356
1、在linux上安装git 本人是ubuntu系统，运行$ sudo apt-get install git即可 centos可运行$ sudo yum install git 2、克隆项目 命令行代码：git clone https://你复制的项目地址。其中的项目地址点击下图图标可获得。（推荐） （当然也可以点击右下角下载压缩包，然后自行解压） 以https://githu...
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Spark 大数据中文分词统计 （一） 开发环境搭建
DumbbellYang的专栏
08-13 4650
几年前搞BI项目时就听说过大数据技术，当时也买了书，可惜没有认真去学。几年5月份 开始，报名参加王家林老师的大数据蘑菇云行动，才算真正开始学习Spark，学习大数据技术。           网上很多Spark的例子都是经典的WordCount example，可惜都是拿那个英文的readme 文件，分行分词统计，对于中文其实并不适用。所以便想着写一个能处理中文的WordCount， 对一
深度学习和机器学习的相关资料
细心程度决定你的成败
04-01 8733
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schm
《一步步搭建自己的网站》系列之ECS阿里云服务器初探
xiyanrenxuan的博客
10-23 938
ECS阿里云服务器初探为什么选择阿里云ECS如何改变文本的样式插入链接与图片 为什么选择阿里云ECS 选择云服务器ECS，您可以轻松构建具有以下优势的计算资源： 1.无需自建机房，无需采购以及配置硬件设施。 分钟级交付，快速部署，缩短应用上线周期。 快速接入部署在全球范围内的数据中心和BGP机房。 成本透明，按需使用，支持根据业务波动随时扩展和释放资源。 提供GPU和FPGA等异构计算服务器、弹性...
工欲善其事，必先利其器。——移动平台课程环境搭建
weixin_30318645的博客
03-05 93
写在前面 java是我学习的第二门OOP语言（第一个是C++），虽然也曾经系统学习过java，又有过一些android项目开发，但由于科研方向偏向于数据处理类的语言(python、scala)，渐渐地也有些生疏了。之前读过一本很有用的书——《重构》，通过学习这本书让我发现自己在开发与代码风格上仍有很长的一段路要走。娄老师的课程所使用的idea之前也用过一段时间，但感觉还是eclipse更适合我，但...
机器学习初探- 初稿
Jerry 没有 Tom
12-19 510
一、机器学习概念 机器学习是一种实现人工智能的方法。 机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。器学习直接来源于早期的人工智能领域，传统的算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。从学习方法上来分，机...
沉淀再出发：kafka初探
weixin_30762087的博客
11-13 82
沉淀再出发：kafka初探 一、前言 从我们接触大数据开始，可能绕在耳边的词汇里面出现的次数越来越多的就包括kfaka了。kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量,且具备良好的容错能力。kafka是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般...
大数据-Hadoop初探-01
qq_28403781的博客
04-09 320
一，大数据： 1.大数据起源于社交网络 QQ微信 发展于电商平台 淘宝，京东，一号店 2。***大数据的4V特征 体积数据量大TB PB Varity 的数据多种多样文本（.log .txt .sql .xml） Veracity真实性数据的准确性和可信赖度 速度速度快 价值价值密度低 Hadoop -&gt...
大数据-hadoop初探-02
qq_28403781的博客
04-09 207
【SSH免密码登录】 1、ssh-keygen -t rsa id_rsa -》私钥 id_rsa.pub -》公钥 ssh-copy-id bigdata-01 ssh-copy-id bigdata-02 ssh-copy-id bigdata-03 自己也要给自己发送公钥和私钥 authorized_keys -》将公钥保存到文件中远程拷贝到其他机器上保存 known_hosts ...
Spark基础环境搭建.pdf
12-09
Spark基础环境搭建
Spark环境搭建和使用方法
07-11
Spark环境搭建和使用方法
spark环境搭建
01-22
Spark 环境搭建是指在本地机器上安装和配置 Spark 相关组件，以便进行 Spark 的学习和开发。本文将指导读者从头开始搭建 Spark 环境，包括 JDK 安装、Spark 下载、Scala 安装、Hadoop 安装和 Spark 配置等步骤。 一...
Spark环境搭建-Windows
03-27
本文将指导您在 Windows 平台上搭建 Spark 环境，包括 JDK、Scala、Hadoop、Python 和 Spark 的安装和配置。 Python 的安装与配置 Python 是 Spark 的依赖项之一，需要安装 Python 3.7.2 版本。在安装 Python 时，...
磁力链磁力链磁力链.txt
最新发布
07-22
磁力链
“人力资源+大数据+薪酬报告+涨薪调薪”
07-22
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
安装graphviz和pygraphviz
07-22
pygraphviz 是一个Python库，它是Graphviz图形可视化软件的Python接口。Graphviz是一个开源的图形可视化软件，广泛用于创建和编辑有向图和无向图。pygraphviz使得Python开发者能够轻松地创建和操作图形，以及执行图形的布局和可视化。 一、pygraphviz的主要功能 创建和编辑图形：pygraphviz允许开发者通过Python代码来创建图形，包括添加节点、边等元素，并且可以编辑这些元素的属性，如颜色、形状、标签等。 图形布局：pygraphviz支持多种图形布局算法，如dot、neato、circo等，开发者可以根据需要选择合适的算法来优化图形的布局。 图形可视化：pygraphviz可以将创建和编辑好的图形保存为图片文件，支持多种图片格式，如PNG、JPEG等，方便开发者进行展示和分享。
BrainF**k Devlopment Toolkit
07-22
BrainF**k Devlopment Toolkit(BFDTK)，可用于开发BrainF**k程序。
Spark开发环境搭建教程与单机部署
在这个PDF文档中，作者提供了详细的步骤来帮助读者在Windows和Ubuntu操作系统上设置Spark开发环境。Spark是一种强大的大数据处理框架，特别适合实时数据处理和机器学习任务。以下是文档中的关键知识点： 1. **系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值