- 博客(12)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Githup项目LearningSpark代码讲解（十一）
这个是一个比较详细的例子，描述一下scala是如何编写代码的，后面会继续编写这个项目的相关例子的讲解package scalademoobject Rational{ /** * 隐式转换，我觉得隐式转换这个功能很重要 * 隐式定义是指编译器为了修正类型错误而允许插入到程序中的定义。例如，如果x+y不能通过类型检查，那么编译器可能会把它改为covert(x)+y， ...
2019-08-23 16:27:36
123
原创 Githup项目LearningSpark代码讲解（十）
package scalademoimport scala.io.Source/** * 这个类就是讲一些关于scala的基本语法，为了保证后面讲解spark的时候不会产生一些比较难于理解的东西，在这里都顺一下 * 我觉得比较难的包括隐式转换，以及逆变我尽量顺一下 * * 知识点： * 1 用object定义的对象是单例的 * 2 当单例对象和某个类共享同一个名字时...
2019-08-23 16:09:44
152
原创 Githup项目LearningSpark代码讲解（九）
package streamingimport java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}/** * 这个类...
2019-08-22 16:43:43
169
1
原创 Githup项目LearningSpark代码讲解（八）
package streamingimport java.io.Fileimport org.apache.spark.streaming._import org.apache.spark.{SparkConf, SparkContext}import streaming.util.CSVFileStreamGeneratorimport scala.util.Random/...
2019-08-22 15:20:29
123
原创 Githup项目LearningSpark代码讲解（七）
package streamingimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming._import org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutable/** * 这个类讲解了一个Spark实现分布式队列的...
2019-08-21 11:38:04
159
原创 Githup项目LearningSpark代码讲解（六）
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.SparkContext._import scala.collection.{mutable, Iterator}object Ex5_Partitions { // 打印...
2019-08-20 14:45:30
141
原创 Githup项目LearningSpark代码讲解（五）
import org.apache.spark.{SparkContext, SparkConf}object Ex4_MoreOperationsOnRDDs {def main(args: Array[String]) {val conf = new SparkConf().setAppName(“Ex4_MoreOperationsOnRDDs”).setMaster(“local[4...
2019-08-19 17:27:09
210
原创 Githup项目LearningSpark代码讲解（四）
/** * 这里讲一下闭包，因为这块不懂后面的东西讲解不了 */object Ex10_Closure {/** * 什么是闭包（Closure）简单讲，闭包就是指有权访问另一个函数作用域中的变量的函数。 * MDN 上面这么说：闭包是一种特殊的对象。它由两部分构成：函数，以及创建该函数的环境。 * 环境由闭包创建时在作用域中的任何局部变量组成。 * 这种官方的概念是...
2019-08-16 11:49:15
119
原创 Githup项目LearningSpark代码讲解（三）
import scala.collection.Iteratorimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkException, SparkContext, SparkConf}import scala.collection.mutable.ListBufferobject Ex3_CombiningRDD...
2019-08-15 10:31:34
234
原创 Githup项目LearningSpark代码讲解（二）
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkContext, SparkConf}object Ex2_Computations { /** * 这个方法就是将信息按照树形模型打印，前面每一级加了一个' ' * @param r * @param depth * @tparam...
2019-08-14 15:51:03
145
原创 Githup项目LearningSpark代码讲解（一）
这个系列的文档主要是科普一些基础用法，不过分涉及核心原理import org.apache.spark.{SparkContext, SparkConf}/** * 这个作为本讲解的第一个类，所以会详细讲解，后面用到此处知识的不在重复 */object Ex1_SimpleRDD { def main (args: Array[String]) { /* ...
2019-08-14 14:01:05
447
原创 ORACLE根据PID查询正在执行的SQL
select sql_textfrom vsqlareawhere(address,hashvalue)in(select/∗+unnest∗/DECODE(sqlhashvalue,0,prevsqladdr,sqladdress),DECODE(sqlhashvalue,0,prevhashvalue,sqlhashvalue)fromvsqlarea where (address, ha...
2019-08-12 11:03:43
1445
backuppc-xs-0.59.tar.gz
2020-05-06
MySQL 8 Cookbook Kindle正版
2018-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人