Scala 统计文本中单词的数量

最新推荐文章于 2023-02-05 22:14:49 发布
最新推荐文章于 2023-02-05 22:14:49 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： hadoop 文章标签： scala查看mysql中的所有数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41854797/article/details/88848734
版权

var file = sc.textFile(“file:///root/abc.txt”)
var a = file.flatMap(line => line.split("\t"))
var b = a.map(word => (word,1))
var c = b.reduceByKey(+) 相当于 var c = b.reduceByKey((a,b) => (a+b))
c.collect

合并起来:
var file = sc.textFile(“file:///root/abc.txt”)
val word = file.flatMap(line>line.split(" ")).map(,1).reduceByKey(+_).collect

排序：val word = file.flatMap(line+>line.split(" ")).map(,1).reduceByKey(+_).collect.sorted

真好，好的不得了
关注
专栏目录
Scala-单词计数程序、并行计算，文件IO
zhang__rong的博客
02-27 400
1、排序 scala> val lst = List(2,3,1,5,7,6,4,9,8) lst: List[Int] = List(2, 3, 1, 5, 7, 6, 4, 9, 8) scala> val lst2 = lst.sorted lst2: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9) scala> lst re...
Scala中使用两种方式对单词进行次数统计 wordCount
jdtugfcg的博客
02-12 871
Scala中使用两种方式对单词进行次数统计 wordCount
Scala中使用两种方式对单词进行次数统计(wordCount)
xianshigudu的博客
09-01 1302
https://blog.csdn.net/tototuzuoquan/article/details/73836153
使用Scala实现文件单词计数
紫翎观星的专栏
12-22 1464
package com.dtapp.base import scala.io.Source object WCntApp { def main(args: Array[String]) { val file = Source.fromFile("E:\\abc.txt", "UTF-8") var map = Map.empty[String, Int]
Scala07：【案例】函数式编程：统计多个文本内的单词总数
weixin_40612128的博客
03-08 738
一、统计多个文本内的单词总数 1、数据准备 使用scala的io包读取文本文件内的数据 val lines01 = scala.io.Source.fromFile("D://a.txt").mkString val lines02 = scala.io.Source.fromFile("D://b.txt").mkString 使用List的伴生对象，将多个文件内的内容创建为一个List val lines = List(lines01, lines02) 注意：下面这一行是核心代码，使用了链
scala单词统计
weixin_42767528的博客
11-20 519
在list集合里输入文本 scala> val lines = List(“hello tom hello jerry”, “helo jerry”,“hello kitty”) lines: List[String] = List(hello tom hello jerry, helo jerry, hello kitty) 按空格切分 scala> val n1=lines.fl...
Spark Scala简单 统计单词个数
07-16
该资源可以简单计算文本中单词个数
用scala统计单词个数一步一步详解
我的博客
03-22 8419
val lines = List("hello tom hello jerry", "hello jerry", "hello kitty")    //先按空格切分val lines_1 = lines.map(_.split(" "))//压平val lines_2 = lines_1.flatten//用flatMap 两步合并成一步val words= lines.flatMap(_.sp...
Scala综合案例：词频统计
weixin_45437533的博客
02-05 1478
Scala综合案例：词频统计
【spark实训】-- Scala实现单词计数
一只大数据专业的傻猪猪
04-01 8740
spark--Scala实现单词计数
Scala统计一个文件所有单词出现的次数
weixin_30791095的博客
11-29 1344
1 import scala.io.Source 2 3 object WordCount extends App { 4 5 val path = "C:\\Users\\Administrator\\Desktop\\ff\\fzsExample\\src" 6 val file = new File(path) 7 val...
【Scala编程_7】单词统计
我的笔记
05-28 327
object prit_first { def main(args: Array[String]): Unit = { val list = List("hello you and me", "hello dalian mei", "you and hollo", "dalian and you") val word =list.flatMap(_.split(" "))/...
单词统计（scala程序）
可乐联盟
11-29 586
1.创建Scala模块,并添加pom.xml    <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch...
转：Spark案例：Scala版统计单词个数
10-18 1931
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/howard2005/article/details/79331556 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的ja...
scala 两种方法实现单词计数
xiao_jun_0820的专栏
10-22 8540
val lines = List("hello world", "hello spark") val wordlist = lines.flatMap(line => line.split(" ")).map(word => (word, 1)) //方法一：先groupBy再map wordlist.groupBy(_._1).map { case (word
Scala 统计文件单词数
xhl101711的专栏
08-17 962
函数原型： def foldLeft[B](z: B)(op: (B, A) => B): B = {     var result = z     this.seq foreach (x => result = op(result, x))     result   } 实现代码： val lines = Source.fromFile("E://test.txt").
scala实现目标txt文件中单词的总数、最大数及最小数的计算
soul_mingling的博客
07-05 410
scala实现目标txt文件中单词的总数、最大数及最小数的计算 注意：需要配置本机的hadoop环境 txt文件内容： hello scale hello hadoop hello spark 输出： package SparkOnHDFS.sample import core.Boot import org.apache.spark.sql.Dataset object SparkSqlWordCount { def main(args: Array[String]): Unit = {
读取文件中的字符串并输出各单词的个数
run_ge的博客
03-31 971
(读取文件中的字符串，并输出各个单词的个数) 如果需要排序，可以在末尾排序后在输出 #include<stdio.h> #include<stdlib.h> #include<string.h> typedef struct{ int len; char ch[20]; }word; void main(){ FILE *fp; char ch,s[10...
scala编写简单的英语单词计数代码
最新发布
05-30
该代码的作用是读取文件中的文本内容，并统计其中单词的数量。具体实现步骤如下： 1. 接收命令行传入的文件名作为参数； 2. 使用`Source`对象读取文件内容； 3. 将文件内容按照非单词字符进行分割，并过滤掉空单词...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值