- 博客(21)
- 收藏
- 关注
RSS订阅原创 RDD容错机制
在分布式函数中可以通过Broadcast对象的。子包，然后在子包里创建。5.对一个整型数组求和。6.对一个整型数组求和。方法访问广播变量的值。
2023-06-09 11:02:12
79
原创 掌握RDD分区
注意：采用本地模式启动Spark Shell（在master节点上）方法创建RDD时，可以传入第二个参数，指定分区数量。函数实现带分区索引的映射。
2023-06-09 11:00:19
78
原创 scala版本spark-shell
1.执行命令，相当于执行命令，启动Scala版的Spark-Shell利用print函数输出了一条信息计算1 + 2 + 3 + …… + 100输出字符直角三角形打印九九表执行:quit命令，退出Spark Shell交互式环境2.
2023-06-09 10:38:15
197
原创 类的定义属性
单例对象，包含三个私有属性和一个公共方法。类，包含三个私有属性和一个公共方法。7.创建单例对象用来测试Dog类。，在文件里创建其伴生对象。包里，创建Scala类。目录里，逐层点开，找到。，那就是生成字节码文件。
2023-06-09 10:31:42
37
原创 大数据技术
元组的实际类型取决于元素数量和元素的类型。9.使用方法_1、_2、_3访问元组的元素，与数组和字符串的位置不同，元组的元素下标从1开始。24.定义一个空的不可变集合set1（Nothing - 一无所有，Scala所有类的子类）25.定义一个非空的不可变集合set2（Any - 包罗万象，Scala所有类的父类）28.添加一个集合存在的元素1，集合里始终只有一个1（集合具有互异性）19.对单词数组进行映射操作，得到一个元组(单词, 1)的数组。11.访问元组的第6个元素（不存在的元素），报错。
2023-03-27 08:41:38
41
原创 大数据技术
28.定义三个变长数组arr1、arr2与arr3，arr1采用++=合并arr2得到result，其实result与合并后的arr1是相等的，然后arr1再利用appendAll方法合并arr3，结果是三个数组的9个元素全部合并进数组arr1里。23.定义一个变长Int类型数组arr，利用+=运算符、append方法添加一个数组元素（注意是追加元素），还可以利用appendAll方法添加一个数组（多个元素。38.在列表list1的头部追加一个元素0，生成一个新列表 list3，列表list1没有变的。
2023-03-27 08:14:50
41
原创 大数据实时处理第三周课
2.公鸡一个五块钱，母鸡一个三块钱，小鸡三个一块钱，现在要用一百块钱买一百只鸡，问公鸡、母鸡、小鸡各多少只？3.计算1+ 2 + 3 + …如果不加else的话。
2023-03-16 08:22:24
46
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人