sprk scala count例子

最新推荐文章于 2023-04-06 21:17:32 发布
最新推荐文章于 2023-04-06 21:17:32 发布
阅读量1.9k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ssllkkyyaa/article/details/89709509
版权

1 cd到bin目录下   进入scala命令行

./spark-shell

2 拷贝README.md到bin目录下

3scala语句

val lines=sc.textFile("README.md")

lines.count()

 

4 提取前三行

val lines3=lines.take(3)

 

SoLucky2017
关注
专栏目录
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 5573
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
scala/java/c++使用murmur3计算hash值保持跨语言之间一致
胡渣大叔的技术专栏
07-01 2014
目标：在java/scala中对word计算出无符号数字（uint64）的hash值 方案： 因为java没有uint64，而c++的murmur3是用的uint64，所以java这边直接asLong会出现负数，所以需要取原始二进制值，转换成guava提供的无符号long scala端： import com.google.common.hash.Hashing import com.google.common.primitives.UnsignedLong ... private def has
Scala：WordCount有关函数浅析
Jodness' Blogs
07-24 830
目录 map/flatMap/flatten groupBy reduce/reduceLeft/reduceRight sortBy mapValues foldLeft/foldRight/fold WordCount的多种写法 map/flatMap/flatten map()接受一个函数，然后对集合中的每个元素调用该函数 //列表中有3个字符串，每个字符串对应一行，一行...
Scala 函数
happy19870612's blog
12-21 649
Scala函数可以面向对象，也可以面向过程，和java不一样，只能面向对象。 一 函数定义 定义Scala函数时，需要定义函数的函数名，参数和函数体。必须 给出所有参数类型，但是不一定给出函数返回值类型只要右侧的 函数体不包含递归的语句，Scala就可以自己根据右侧表达式推断 返回类型   1.1不带返回类型 必须函数名和函数体之间可以没有= scala>:paste //En
Scala数组常用函数（1）
weixin_51981189的博客
10-30 1725
Scala数组的函数有很多个，需要熟练掌握的必要性很大，便于我们以后能想到用这个方法去完成什么功能。再初识scala的时候发现这些函数或者说是语法比java的要难很多，需要花时间去理解以及背下来。（背下来划重点！）
scala 的worldcount
stone_tomcate的博客
12-29 246
val lines = List("course cat hello", "dog han aaa aaa aaa ccc ddd uuu") val dd = lines.foldLeft(mutable.Map[String ,Int]())(wordcount) def wordcount(map: mutable.Map[String, Int], str: String): mutable.Map[String, Int] = { var strs = str.spl..
scala-聚合算子
m0_49945160的博客
12-22 623
scala-聚合算子 聚合算子 count 对元素计数 方法声明 def count(p: A => Boolean): Int = {} 方法参数为一个一元函数，一元函数传入一个int整数值，返回一个布尔值，只有布尔为true的元素才会被记录 count方法可以有选择的统计需要的变量 实例 val list1 = (1 to 10).toList //普通计数,集合长度 val size = list1.size; val length = list1.
Hadoop，SPRK开发学习笔记
09-19
在Spark的学习笔记中，你会接触到RDD（弹性分布式数据集）、SparkContext、DataFrame和SparkSession等关键概念，以及如何使用PySpark或Scala进行编程。 在实际开发过程中，Hadoop和Spark经常协同工作。例如，Hive...
hudi spRK
最新发布
09-05
这是一个IT类问题。Hudi和Spark是两个常用的大数据处理框架。Hudi是Apache Hudi的简写，它是一个开源的分布式数据湖管理系统，用于处理大规模数据集的增量更新和查询。而Spark是一个快速通用的大数据处理引擎，可以...
sprk与es
genhaoyou的博客
04-24 147
<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20_2.11</artifactId> <version>6.7.2</version> </dependency> scala> val df = .
scala函数大全
weixin_53898747的博客
04-06 3332
scala函数解释加实例
Scala实现workcount
hiscoming的博客
05-26 281
Spark实现workcount// select split(sentence,' ') re // from tmp 1、使用scala实现wordCount scala> import scala.io.Source scala> val lines = Source.fromFile("/usr/local/src/badou_code/mr/mr_wc/The_Man_of_Property.txt").getLines lines: Iterator[String] = non-em
scala:word count 单词计数
Shixuefeng2410的博客
02-28 669
创建maven工程，导入jar包： <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <
使用Scala实现worldcount功能
csp75739的博客
07-29 914
新建ScalaWorldCount对象： package com.ruozedata.day4 object ScalaWorldCount { def main(a...
scala常用函数大全
qq_41704237的博客
08-02 1770
一、添加、更新元素函数 ++ 两个集合相加，返回一个左边集合类型的新集合 val a = Array(1, 2) val b = Array(3, 4) val c = a ++ b println(c.mkString(",")) // 1,2,3,4 ++：两个集合相加，返回一个右边集合类型的新集合 val a = List(1, 2) val b = scala.collection.mutable.LinkedList(3, 4) val c = a ++:
Scala函数
biww620的博客
09-14 317
Scala是一门函数式语言，函数在Scala里属于First-Class Value，意味着在Scala中函数可以像其它值一样用作参数或者返回值，也可以赋值给变量或存储在某些存储结构中。Scala对于函数有很多特性能能够使代码更加简洁，复用性更高。 函数定义 def functionName(paramName : paramType) : returnType = {      
Scala的集合类中的map方法和count 方法
weixin_30432579的博客
12-26 447
在Scala中，有很多很好用的东西，虽然不怎么会那个东西，但是觉得有时候这个语言的开发速度就是比JAVA的要快。废话不多说： 如下： // 我也不知道Case是干什么用的，但是有了Case，equals方法就好像起作用了 case class A(name:String) { var selected = false override def eq...
JAVA和Scala版本的WorldCount
张不帅
04-17 502
文章目录1.scala的worldcount完整版本精简版本java版本 1.scala的worldcount 完整版本 def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("local") setAppName ("wc") val context = ...
使用scala实现wordcount的简单计数
清纯玉面可爱小郎君
06-10 2265
package wordCount import scala.actors.{Actor, Future} import scala.collection.mutable.ListBuffer import scala.io.Source /** * Created by Adminstrator on 2017/6/10. */ class MyActorWC extends Ac
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值