scala
scala
Joie.
这个作者很懒,什么都没留下…
展开
-
基于Spark GraphX的图形数据分析
基于Spark GraphX的图形数据分析一、图(Graph)1.1 图(Graph)的基本概念1.2 图的术语1.3 图的经典表示法二、Spark GraphX2.1 简介2.2 GraphX核心抽象三、GraphX API3.1 创建Graph3.2 查看图信息一、图(Graph)为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据,常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性1.1 图(Graph)的基本概念图是由顶点集合(vertex原创 2020-11-26 15:18:11 · 339 阅读 · 0 评论 -
spark sql 重写sql50道经典题
作者行业新人,如果有不对的地方,希望可以指出,共同学习。确定表名和字段1.学生表Student(s_id,s_name,s_birth,s_sex) --学生编号,学生姓名, 出生年月,学生性别2.课程表Course(c_id,c_name,t_id) – --课程编号, 课程名称, 教师编号3.教师表Teacher(t_id,t_name) --教师编号,教师姓名4.成绩表Score(s_id,c_id,s_score) --学生编号,课程编号,分数建表和插原创 2020-11-25 12:13:53 · 438 阅读 · 0 评论 -
json日志分析和数据清洗
示例文件json解析json在线文件解析网址解析后文件格式{ "cm": { "ln": "-55.0", "sv": "V2.9.6", "os": "8.0.4", "g": "[email protected]", "mid": "489", "nw": "3G", "l": "es", "vc": "4", "hw": "640*960", "ar": "MX", "uid": "489", "t": "1593123253541", "原创 2020-11-23 09:04:46 · 632 阅读 · 0 评论 -
Spark分布式计算原理
Spark分布式计算原理一、RDD依赖与DAG工作原理1、RDD的依赖关系2、DAG工作原理二、RDD优化1、RDD持久化1.1、RDD缓存机制cache1.2 检查点2、RDD共享变量2.1、广播变量2.2、累加器3、RDD分区设计4、数据倾斜三、装载常见数据源3.1、装载CSV数据源3.1.1 使用SparkContext3.1.2使用SparkSession3.2、装载JSON数据源一、RDD依赖与DAG工作原理1、RDD的依赖关系1.1 Lineage:血统、遗传RDD最重要的特性之一,原创 2020-11-12 17:27:46 · 490 阅读 · 0 评论 -
Spark RDD基本理论和常用算子
Spark RDD基本理论和常用算子一、Spark RDD概述1、RDD概念2、RDD和DAG3、RDD的特性和流程4、RDD分区二、RDD的创建1、使用集合创建RDD2、通过加载文件产生RDD三、RDD常用算子1、转换算子a) 基本概论b) 常用的转换算子一、Spark RDD概述1、RDD概念简单的解释RDD是将数据项拆分为多个分区的集合,存储在集群的工作节点上的内存中,并执行正确的操作复杂的解释RDD是用于数据转换的接口RDD指向了存储在HDFS、Cassandra、HBase原创 2020-11-05 16:13:54 · 139 阅读 · 0 评论 -
spark基础及架构
spark基础及架构一、Spark概论Spark简介一、Spark概论Spark简介诞生于加州大学伯克利分校AMP实验室,是一个基于内存的分布式计算框架发展历程2009年诞生于加州大学伯克利分校AMP实验室2010年正式开源2013年6月正式成为Apache孵化项目2014年2月成为Apache顶级项目2014年5月正式发布Spark 1.0版本2014年10月Spark打破MapReduce保持的排序记录2015年发布了1.3、1.4、1.5版本2016年发布了1.6、2.x原创 2020-11-04 15:23:39 · 125 阅读 · 0 评论 -
scala和spark安装配置
spark安装配置1、scala安装配置2、spark安装配置1、scala安装配置2、spark安装配置原创 2020-11-02 09:22:29 · 295 阅读 · 0 评论 -
Scala Array常用方法(二)
Scala Array常用方法(二)indexOfdef indexOf(elem: T): Int返回elem在序列中的索引,找到第一个就返回def indexOf(elem: T, from: Int): Int返回elem在序列中的索引,可以指定从某个索引处(from)开始查找,找到第一个就返回val a = Array(1,3,2,3,4)println(a.indexOf(3)) // 1println(a.indexOf(3,2)) // 3in原创 2020-10-29 15:27:42 · 203 阅读 · 0 评论 -
Scala Array常用方法(一)
Scala Array常用方法++def ++[B](that: GenTraversableOnce[B]): Array[B]合并集合,并返回一个新的数组,新数组包含左右两个集合对象的内容。 val a = Array(1,2) val b = Array(3,4) val c = a ++ b //c中的内容是(1,2,3,4)++:def ++:[B >: A, That](that: collection.Traversable[B])(implicit bf: C原创 2020-10-27 16:52:44 · 426 阅读 · 0 评论 -
scala伴生类和伴生对象
scala伴生类和半生对象//伴生类和伴生对象在同一文件中,名字相同//class类称为object的伴生类,object称为class的伴生对象class Person(uname:String,uage:Int){ //scala主构造方法,定义在类的头部 println("class 进入到Person的class类中") var name:String = uname var age:Int = uage private var address:String = "亚洲" d原创 2020-10-26 15:23:37 · 278 阅读 · 0 评论 -
scala模式匹配
scala模式匹配//模式匹配的基础语法 def match1(x:Char):Unit = x match { case 'A' => println("verygood") case 'B' => println("good") case 'C' => println("soso") case _ => println("work harder") } match1('D')//模式匹配中使用if守卫模式原创 2020-10-26 15:06:09 · 62 阅读 · 0 评论 -
scala 隐式转换
Scala 隐式转换1、隐式参数2、隐式方法3、隐式类当编译器第一次编译失败的时候,会在当前的环境中查找能让代码编译通过的方法,用于将类型进行转换,实现二次编译1、隐式参数普通方法或者函数中的参数可以通过implicit关键字声明为隐式参数,调用该方法时,就可以传入该参数,编译器会在相应的作用域寻找符合条件的隐式值。说明同一个作用域中,相同类型的隐式值只能有一个编译器按照隐式参数的类型去寻找对应类型的隐式值,与隐式值的名称无关。隐式参数优先于默认参数(优先级:传参>隐式参数>默原创 2020-10-23 14:02:58 · 79 阅读 · 0 评论 -
Scala入门基础
Scala入门基础Scala简介概述1.简介2.概述Scala变量与常量Scala数据类型层次结构1.数据类型层次结构2.字符串插值Scala条件控制1.语句2.条件语句返回值Scala循环控制Scala数组Scala元组Scala集合Scala简介概述1.简介Scala源自JavaScala构建在JVM之上Scala与Java兼容、互通Scala的优势多范式编程:面向对象编程、函数式编程表达能力强,代码精简大数据与ScalaSpark采用Scala语言设计提供的AP原创 2020-10-20 16:06:57 · 137 阅读 · 0 评论 -
IntelliJ IDEA安装scala插件并创建scala示例
IntelliJ IDEA安装scala插件并创建scala示例安装Scala插件和编译器安装Scala软件创建Scala工程安装Scala插件和编译器1、首先确定IntelliJ IDEA对应的scala版本在IDEA的File下找到Setting点进Setting,找到Plugins,点击左下方框得按钮在搜索框内查找scala,查看对应的版本号2、搜索网站https://plugins.jetbrains.com/plugin/1347-scala后,点击Version Histor原创 2020-10-19 14:41:11 · 231 阅读 · 0 评论