丹青慕怀-CSDN博客

原创 scala基础03

for ,while,do…while## 标题to和until 的用法（不带步长，带步长区别）/**to和until例：1 to 10 返回1到10的Range数组，包含101 until 10 返回1到10 Range数组，不包含10*/println(1 to 10 )//打印 1, 2, 3, 4, 5, 6, 7, 8, 9, 10println(1.to(1...

2019-12-31 21:03:19 117

原创 scala基础02

Scala基础数据类型变量和常量的声明定义变量或者常量的时候，也可以写上返回的类型，一般省略，如：val a:Int = 10 常量不可再赋值 /** * 定义变量和常量 * 变量 :用 var 定义，可修改 * 常量 :用 val 定义，不可修改 */ var name...

2019-12-31 20:35:33 117

原创 scala基础01

Scala介绍1.Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。2.Scala官网6个特征。 1).Java和scala可以混编 2).类型推测(自动推测类型) 3).并发和分布式（Actor） 4).特质，特征(类似java中interfaces 和 abstract结合)...

2019-12-27 20:44:37 118

原创 spark RDD转换算子 map 、mapPartitions、mapPartitionsWithIndex

概念：map:通过函数func传递源的每个元素来形成一个新的分布式数据集。mapPartitions:与map类似，但是在RDD的每个分区（块）上分别运行，所以func在类型T的RDD上运行时必须是Iterator <T> => Iterator <U>类型。mapPartitionsWithIndex:类似于mapPartitions，但也提供func代表分区索引的...

2018-04-27 10:19:13 596

原创 spark rdd foreach和foreachPartition

foreach(f)将方法用于RDD的所以元素>>> def f(x): print(x)>>> sc.parallelize([1, 2, 3, 4, 5]).foreach(f)foreachPartition(f)[source]将方法用于RDD的每个分区>>> def f(iterator):... for x in itera...

2018-04-20 12:11:27 729

描述：sorted() 函数对所有可迭代的对象进行排序操作。语法：sorted(iterable[, cmp[, key[, reverse]]])参数说明：iterable -- 可迭代对象。cmp -- 比较的函数，这个具有两个参数，参数的值都是从可迭代对象中取出，此函数必须遵守的规则为，大于则返回1，小于则返回-1，等于则返回0。key -- 主要是用来进行比较的元素，只有一个参数，具体的函...

2018-04-10 15:57:39 184

原创 Python函数setdefault()

描述：Python 字典 setdefault() 函数和get() 方法类似, 如果键不存在于字典中，将会添加键并将值设为默认值。注意：setdefault() 返回的键如果不在字典中，会添加键（更新字典）语法：dict.setdefault(key,default = None)参数key - 这是要搜索的键。default - 这是在没有找到键的情况下则返回此值。返回值此方法返回字典中可用的...

2018-04-08 12:05:41 5747

丹青慕怀的博客