安装spark并编写scala 实现wordcount

最新推荐文章于 2020-05-19 17:44:25 发布
最新推荐文章于 2020-05-19 17:44:25 发布
阅读量374 收藏 2
点赞数
分类专栏： 课程学习心得 文章标签： Scala Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Janeeyre47/article/details/90598001
版权

一、实验环境准备

关于Scala和spark包我已经上传到到网盘，方便取用，也可自行到官网
链接：https://pan.baidu.com/s/1VDazlFWeWJi-Jtd9LMNSLg
提取码：vhk3

官网下载安装Scala：scala-2.12.8.tgz
https://www.scala-lang.org/download/

官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

1、安装scala

用xftp把文件从本地路径上传到centos路径下

解压

tar -zxvf scala-2.12.8.tgz -C /opt/module

修改文件名

mv sca
最低0.47元/天 解锁文章
Janeeyre47
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 程序 WordCount实现 Scala、Python
Tomorrow never comes
03-03 337
单词统计程序Scala实现---idea 安装scala插件创建maven项目，引入scala sdkpom.xml<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/...
scala 实现WordCount
lixgjob的博客
08-16 413
object WC {   def main(args: Array[String]): Unit = {     val list = Source.fromFile("E:/words.txt").getLines().toList                .map((_,1))                .groupBy(_._1)                .map
Scala和Java分别实现的WordCount
共勉
05-16 641
在使用之前，对Maven进行配置：参考：Java项目管理之Maven下载及安装 和项目环境配置 idea创建项目及配置详解和测试代码 之后建立一个data文件夹里面写一个word.txt文件，用于统计。 1.使用Scala实现单词统计 package WordCount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object SparkWC { def main(args: Ar
Scala 学习（六）--- 单机实现wordcount详细解读
World_Programming的博客
04-26 774
object WordCount { def main(args: Array[String]): Unit = { val lines = List("hello tom hello jerry", "hello jerry", "hello kitty") val words = lines.flatMap(_.split(" ")) val wordAndOne =
本地部署编写scala
风吹屁屁凉
04-09 174
解压hadoop-2.5.2版本 hadoop-2.5.2下载链接: https://pan.baidu.com/s/1le6fYpqnvhtaN2qlkz1myg 提取码: m3vn 将winutils放入到bin目录下，如图所示：winutils下载：链接: https://pan.baidu.com/s/1Vz0KLzrc38nYO_axLOgAbw 提取码: 1yz9 将hadoop....
Spark：用Scala和Java实现WordCount
03-03
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的Java...
使用Scala设计WordCount程序
12-26
使用Scala设计WordCount程序 软件环境: hadoop-2.6.5.tar.gz spark-1.6.2-bin-hadoop2.6.tgz scala-2.10.4.gz scala-SDK-4.0.0-vfinal-2. 11-linux.gtk.x86_64.tar.gz
Spark学习一：安装、IDEA编写代码
01-07
文章目录Spark下载和安装Spark的部署模式spark on yarnIDEA编写spark程序下载Scala安装Scala插件建立Maven工程编写wordcount程序打成jar包验证JAR包 Spark下载和安装 可以去Spark官网下载对应的spark版本。此处我...
基于Python Java Scala语言的MapReduce及Spark分词及词频统计效率对比
最新发布
02-28
通过使用三种不同语言编写来编写分词及词频统计程序，比较在大数数据背景下，MapReduce和Spark对三种语言的适应性及其各自的效率对比；项目均采用IDEA+Maven进行构建，相关依赖均在对应pom.xml中给出； 软件架构 ...
安装配置Spark以及Scala语言环境，分别使用Spark语言和Scala语言编写WordCount程序
qq_44301910的博客
05-27 250
实验内容：安装配置Spark以及Scala语言环境，分别使用Spark语言和Scala语言编写 WordCount程序 实验步骤： 一 .下载scalar 解压到路径/usr/local/scalar 在/etc/profile文件中加入安装路径 vim /etc/profile 添加以下内容 export SCALA_...
spark、scala安装配置
prometheus的博客
08-24 653
一、安装scala1、下载scala .tar.gz文件 2、解压文件到指定文件夹 3、配置scala环境变量 在/etc/profile加入SCALA_HOME=/sp/scala-2.11.4 export PATH=$SCALA_HOME/bin:$PATH source /etc/profile4、分发文件夹到其他主机，同理，配置相应该的环境变量二、安装Spark1、下载spark
纯手写一个spark应用程序：WordCount（Scala 代码实现）
qq_22230709的博客
08-20 1724
在maven项目中的pom.xml配置文件中添加spark相应的组件 <!-- 会自动加载所有相关的库 --> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11...
Spark实战-用Scala编写WordCount程序
Movle
05-19 3829
一.添加pom依赖： pom.xml <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId>
使用Scala语言实现单词数量统计功能
ITBOY_ITBOX博客
05-06 5251
使用Scala语言实现单词数量统计功能： List( ("Hello Scala World", 4), ("Hello World", 3), ("Hello Hadoop", 2), ("Hello Hbase", 1) ) 将上面集合中的单词统计出现次数并按照次数降序排列取前3. 方式一 object WordCount { def main(args: Array[Str...
使用scala语言实现wordcount程序
weixin_43740680的博客
07-28 680
使用scala语言实现wordcount（统计单词出现的次数）： object WordCount { def main(args: Array[String]): Unit = { val lines = List("hadoop hive spark scala","spark hive habase", "hive spark java") //数据转换 ...
scala算子综合案例（一）----- wordcount的多种实现
qq_824203453_的博客
07-12 4350
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.csdn.net/qq_21439395/article/details/81022890 交流QQ: 824203453   实现方案一：  map + flatten + groupBy 实现方式二：flatMap + groupBy object ScalaWordCount { d...
Scala进阶之路-Spark本地模式搭建
weixin_33725515的博客
07-27 181
　　　　　　　　　　Scala进阶之路-Spark本地模式搭建 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。         一.Spark简介 1&gt;.Spark的产生背景 　　传统式的Hadoop缺点主要有以下两点：　　 　　　　第一.迭代式计算效率低（一个MapReduce依赖上一个MapReduce的结果）;...
Scala中使用两种方式对单词进行次数统计(wordCount)
热门推荐
涂作权的博客
06-28 1万+
使用Scala对单词数量进行统计： 假设有单词数组： val arr = Array(“hello tom”,”hello jerry”,”hello hello”) 需要对Array中的每个单词进行统计计数。 可以使用如下方式： 方式一：scala> arr.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.
scala一行代码实现经典实例wordcount
放肆桀骜
05-21 1178
原始代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WorldCount { def main(args: Array[String]): Unit = { val conf =new SparkConf() //设置本地运行 ...
spark实现wordcount案例
09-19
Spark实现WordCount案例是一种经典的大数据处理案例，主要用于统计文本中每个单词出现的次数。具体实现步骤如下： 1. 读取文本文件：使用Spark的API读取文本文件，将文本文件中的每一行作为一个RDD的元素。 2. 切分单词：对于每个RDD元素，使用split函数将其切分成单词，得到一个新的RDD。 3. 映射为键值对：对于新的RDD，使用map函数将每个单词映射为一个键值对，其中键为单词，值为1。 4. 聚合统计：使用reduceByKey函数对键值对进行聚合统计，得到每个单词出现的次数。 5. 输出结果：使用foreach函数将统计结果输出到控制台或者保存到文件中。 以上就是Spark实现WordCount案例的基本步骤，通过这个案例可以深入了解Spark的RDD编程模型和基本操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值