【Spark编程基础(2.4)】Scala语言基础—函数式编程基础

最新推荐文章于 2022-04-07 09:58:28 发布
最新推荐文章于 2022-04-07 09:58:28 发布
阅读量239 收藏
点赞数
分类专栏： 推荐系统实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30057549/article/details/104576203
版权

4 函数式编程基础

函数的定义与使用
定义函数最通用的方法是作为某个类或单例对象的成员，这种函数被称为方法。
在这里插入图片描述
函数类型和函数值
字面量
在这里插入图片描述
函数字面量
整型可以把具体值在方法调用中传来传去->函数可以想整型值一样在不同的方法调用中操作 传递
在这里插入图片描述
函数的输入参数类型和返回值类型一起构成函数的类型。
在这里插入图片描述

  • 当参数只有一个时，圆括号可以省略
  • 只有存在多个参数时，圆括号才是必须的

在这里插入图片描述
在这里插入图片描述
匿名函数（Lambda表达式）
在这里插入图片描述
格式：
在这里插入图片描述
在这里插入图片描述
自动推断类型，不用声明：

在这里插入图片描述
省略num类型声明不可
在这里插入图片描述
若给出类型说明，不用专门类型声明
在这里插入图片描述
_的作用，函数字面量仅出现一次
在这里插入图片描述
高阶函数，函数的参数仍然是函数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

针对容器的操作

Scala容器的标准遍历方法
在这里插入图片描述
在这里插入图片描述
注：元组对象不需要加类名。

映射操作-map方法和flatMap方法
map：一对一映射
在这里插入图片描述
flatMap：一对多映射
在这里插入图片描述
在这里插入图片描述
过滤操作
在这里插入图片描述
规约
reduce(f)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
fold方法：带初始值
在这里插入图片描述
在这里插入图片描述

函数式编程实例WordCount

在这里插入图片描述
在这里插入图片描述

LotusQ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 编程基础（Scala 版）-机房上机实验指南
03-20
Scala语言基础：由于Spark最初是使用Scala开发的，本书将详细介绍Scala的基础知识，包括语法、数据类型、控制结构、函数式编程等。 Spark与Scala的集成：展示如何在Scala环境下搭建Spark开发环境，包括安装、配置...
一步步学spark之一scala函数式编程中函数的定义,值函数,匿名函数2.9
Angel、骷髅博客
05-25 498
一步步学spark之一scala函数式编程中函数的定义，值函数,匿名函数 scala语言的核心就是函数 函数中定义函数，函数可以被赋值，赋值的时候必须在后面空格 加上一个_  值函数 把函数作为值赋给一个常量 或者变量时 需要在后面加 _  匿名函数： 匿名函数书写 匿名函数使用 集合操作中使用匿名函数 简化写法
scala基础篇四：（spark）容器操作（foreach、Map、flaMap、filter、reduce/Left/Right、fold）
qq_50868643的博客
03-27 1959
2、映射：就是把一个数据提出操作，不改变原有的数据，而是生成新的数据。 Map（一对一映射） flatMap（一对多映射）：一个容器被映射成多个，然后拍扁成一个返回 3、过滤：依据条件筛选符合条件的数据 Filter() 根据条件过滤 4、规约 Reduce()根据对容器里的元素进行两两运算 reduceLefet/reduceRight Fold：可以加入额外的数据进行...
spark(2.4)复习
huang358468的博客
04-07 129
...
Spark & Scala scala编程之对容器的操作
Beyond_Nothing
09-27 571
文章目录针对容器的操作1 遍历操作2 映射操作map方法（一对一映射）flatMap方法（一对多映射）3 过滤操作filter方法：接受一个返回布尔值的函数f作为参数，并将f作用到每个元素上，将f返回真值的元素组成一个新容器返回4 规约操作(reduce : 归纳)reduce方法：接受一个二元函数f作为参数，首先将f作用在某两个元素上并返回一个值，然后再将f作用在上一个返回值和容器的下一个元素上，再返回一个值，依此类推，最后容器中的所有值会被规约为一个值reduceLeft和reduceRight：前者从
scala映射常见操作
m0_58535137的博客
02-13 242
import scala.collection.mutable object 映射常见操作 { def main(args: Array[String]): Unit = { val map = mutable.Map("张三" -> 12, "李四" -> 16) // 获取键（key）对应的值（value） println(map.get("张三")) // 获取所有key println(map.keys) // 获取所有value
Scala基础(10) 函数式编程
01-20
函数式编程实例 import java.io.File import scala.io.Source object WordCount{ def mian(args: Array[String]): Unit{ val dirfile = new File(path to files) val files = dirfile.listFiles() for...
Scala函数式编程
03-18
　这本书所讲授的，正是基于 Scala 的函数式编程基础。基于 Scheme、Haskell 等老牌函数式语言的传统教材的问题在于，相关语言的语法和思维方式与读者现有的知识体系迥异，容易造成较为陡峭的入门门槛。此外，由于...
Scala函数式编程专题--scala基础语法介绍
08-18
主要介绍了scala基础语法的的相关资料，文中讲解非常详细，帮助大家更好的理解和学习，感兴趣的朋友可以了解下
Scala编程基础.docx
04-05
Scala编程基础
【大数据技术与推荐系统(8)】Spark推荐算法实战
个人记录使用
02-27 1660
文章目录Spark MLlib概述MLlib推荐算法介绍MLlib推荐算法实战 Spark MLlib概述 MLLib 是基于Spark 引擎实现的机器学习算法库 良好的扩展性和容错性 充分利用了Spark 扩展性和容错性 属于Spark 生态系统重要组成部分 实现了大部分常用的数据挖掘算法 聚类算法 分类算法 推荐算法 MLlib分类算法 MLlib聚类算法 MLlib推荐算法介绍 Sp...
【大数据技术与推荐系统(1)】推荐系统与大数据的关系
个人记录使用
02-13 1604
文章目录大数据概述推荐系统技术栈课程安排 大数据概述 关键词： PB、EB、集群 应用领域： 互联网领域：搜索引擎、推荐系统、广告系统 电信领域：用户画像、用户行为分析 医药生物领域：DNA分析 视频领域：视频存储、视频分析 金融领域：信用卡欺诈分析、用户分析 矿产勘探领域：矿产石油勘察预测 大数据技术框架 推荐系统技术栈 Hadoop生态系统 Spark生态系统 推荐系统还需要 课程安排...
《推荐系统实践》第2章:协同过滤——基于用户行为分析的推荐算法
个人记录使用
01-15 1571
文章目录用户行为数据用户行为分析协同过滤算法基于邻域的方法隐语义模型基于图的随机游走算法实验设计和算法评测 用户行为数据 就是日志，分为显性反馈行为和隐形反馈行为。一条日志包括：user id、item id、行为种类、上下文(时间地点)、行为权重、行为内容。 常用数据集 MovieLen数据集 用户行为分析 用户活跃度和物品流行度都遵循长尾分布（Power Law）。 横坐标为流行度和活跃度，纵...
【大数据技术与推荐系统(5)】用户画像系统
个人记录使用
02-18 1441
文章目录什么是用户画像系统构建用户画像系统用户标签生成案例用户画像系统应用 本文代码仓库地址：我的推荐系统学习求职之路 什么是用户画像系统 大数据时代人的数据化 什么是用户画像 用户画像的作用 构建用户画像系统 标签表示法 标签是特征空间中的维度 用户画像标签举例 用户画像系统的挑战 记录和存储亿级用户的画像 支持和扩展不断增加的维度和偏好 毫秒级更新 支撑个性化推荐、广告投放和精细化...
《推荐系统实践》第6章:利用社交网络数据的推荐系统
个人记录使用
01-16 1085
简介 社会图谱-》society（社会） 兴趣图谱-》community（社区） 数据集分为三种：双向确认、单向关注和基于社区的（如豆瓣小组）。 推荐算法 基于邻域的社会化推荐算法 用户u对物品i的兴趣： pui=∑v∈ out (u)rvi p_{u i}=\sum_{v \in \text { out }(u)} r_{v i} pui​=v∈ out&nbs...
【大数据技术与推荐系统(6)】推荐算法及开发环境配置
个人记录使用
02-27 1049
文章目录推荐模型构建流程推荐算法概述基于协同过滤的推荐算法协同过滤实现 推荐模型构建流程 Data->Feature->ML Algorithm->Prediction Output What data to use? 显性数据 Rating Comments 隐形数据 Order history/return history Cart events Page vi...
【大数据技术与推荐系统(7)】Mahout推荐算法实战
个人记录使用
02-27 1001
文章目录Mahout概述Mahout推荐算法介绍Mahout推荐算法实战 Mahout概述 基于Spark/Flink/H2O开发的数据挖掘/机器学习库 截止2014年底，mahout不再接收任何MapReduce开发的算法，转向spark 良好的扩展性和容错性 充分利用了MapReduce/Spark/Flink 和HDFS 的扩展性和容错性 属于Hadoop生态系统重要组成部分 ...
《推荐系统实践》第7章:推荐系统实例——如何从零构造推荐系统
个人记录使用
01-16 887
外围架构 核心：界面展示和用户行为数据 界面展示一般都有一些共性，三点。 数据收集和存储 需要实时存取的数据存在数据库和缓存中；大规模的非实时存取数据存储在分布式文件系统（如HDFS）中。 推荐系统架构 原始图 如果将用户喜欢的物品和用户与其相似的用户也看做为特征的话，抽象为下图： 基于特征的推荐系统架构 推荐系统架构图 说明： 每个推荐引擎负责一类特征和一种任务，推荐系统的任务是将推荐引擎...
【大数据技术与推荐系统(4)】推荐系统设计
个人记录使用
02-14 805
文章目录Lambda架构概述Lambda架构之批处理层Lambda架构之实时处理层Lambda架构之服务层 Lambda架构概述 大数据时代：3V（Volume、Velocity、Variety）——>分布式存储 Twitter工程师Nathan Marz提出，Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图，包括：批处理层、实时...
spark编程基础林子雨版答案
最新发布
12-15
在编写Spark程序时，可以使用Scala、Java、Python或R等多种编程语言。通过Spark的API和函数库，可以方便地对大规模的数据进行处理和分析，实现复杂的计算任务和机器学习模型的训练。 总之，掌握Spark编程基础对于大...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值