scala
半_调_子
因为热爱
展开
-
spark从数据库中获取字段,进行分词再入库
package com.jsptpd.anylysishotwordsimport java.io.{FileInputStream, InputStreamReader, StringReader}import java.util.{Date, Properties}import java.util.regex.Patternimport org.apache.spark.sql.{SaveMode, SparkSession}import org.wltea.analyzer.core..原创 2020-12-09 22:38:11 · 526 阅读 · 0 评论 -
Spark graphx
graphx介绍弹性分布式属性图graphx图存储原理分区(partition)策略集合视图:图视图---图数据进行分区,进行分析图计算的优势基于内存实现了数据的复用与快速读取统一了图视图和表视图能与Spark框架上的组件无缝集成graphx图存储原理边分割点分割图计算使用的是点分割分式存储图graphx分区策略random...原创 2020-04-23 00:00:48 · 411 阅读 · 0 评论 -
Learning Spark sql :目录
目录前言本书涵盖的内容这本书需要什么这本书是给谁的约定读者反馈客户支持下载示例代码下载本书的彩色图像勘误海盗行为问题1. Spark SQL入门什么是Spark SQL?介绍SparkSession了解Spark SQL概念了解弹性分布式数据集(RDD)了解数据框和数据集了解Catalyst优化器了解Catalyst优化了解Catalyst转化...原创 2020-04-22 19:37:01 · 420 阅读 · 0 评论 -
spring secutiry oauth2.0认证制授权 --Spring secuity快速上手
Spring Security快速上手1Spring Security介绍Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,由于它是spring生态系统的一员,因此它伴随着整个spring生态系统不断修正,升级,在springboot项目中加入spring security更是十分简单,使用spring security...原创 2020-04-22 08:23:14 · 519 阅读 · 0 评论 -
Mastering Spark for Data Science:输入格式和架构
本章的目的是演示如何将数据从其原始格式加载到不同的模式,从而使各种不同类型的下游分析能够在同一数据上运行。 在编写分析甚至更好地构建可重用软件的库时,通常必须使用固定输入类型的接口。 因此,根据目的,灵活地在模式之间转换数据的方式可以带来可观的下游价值,既可以扩展可能的分析类型,又可以重新使用现有代码。我们的主要目标是学习Spark随附的数据格式功能,尽管我们还将通过引入行之有效的方法来深入研...原创 2020-04-20 19:25:51 · 558 阅读 · 0 评论 -
Mastering Spark for Data Science:数据集成
作为数据科学家,最重要的任务之一就是将数据加载到数据科学平台中。 本章将说明如何构建Spark中的常规数据提取管道,该管道可作为跨许多输入数据的可重用组件,而不是使用不受控制的临时过程。 我们将逐步进行配置,并演示如何在各种运行条件下提供重要的Feed管理信息。读者将学习如何构造内容寄存器,并使用它来跟踪加载到系统的所有输入并在摄取管道上传递度量,以便可以可靠地将这些流作为自动的熄灯过程运行。...原创 2020-04-20 16:49:23 · 438 阅读 · 0 评论 -
Mastering Spark for Data Science:通过spark进行数据科学
Spark对数据科学世界的影响令人震惊。 自从Spark 1.0发布至今还不到3年,但Spark已经被公认是任何大数据架构的全能内核。 大约在此期间,我们在巴克莱银行采用了Spark作为我们的核心技术,这被认为是一个大胆的举动。 现在可以肯定,Spark是任何大数据科学项目的起点。第1章,大数据科学生态系统,本章介绍了通过大规模数据获得成功的方法和随附的生态系统。它着重于将在后面的章节中使用的...原创 2020-04-20 14:24:16 · 594 阅读 · 0 评论 -
Apache Spark 2.x Machine Learning Cookbook(3) Spark的三种用于机器学习的数据火枪手-完美结合
在本章中,我们将介绍以下内容:使用内部数据源通过Spark 2.0创建RDD使用外部数据源通过Spark 2.0创建RDD使用filter() API使用Spark 2.0转换RDD使用超级有用的flatMap() API转换RDD使用set的操作API转换RDD使用groupBy()和reduceByKey()进行RDD转换/聚合使用zip()API转换RDD使...原创 2020-04-19 13:01:02 · 316 阅读 · 0 评论 -
Apache Spark 2.x Machine Learning Cookbook(2) ---使用spark学习线性代数
在本章中,我们将介绍以下内容:包导入和向量和矩阵的初始设置使用Spark 2.0创建DenseVector并进行设置使用Spark 2.0创建SparseVector并进行设置使用Spark 2.0创建DenseMatrix并进行设置在Spark 2.0中使用稀疏局部矩阵使用Spark 2.0执行矢量算术使用Spark 2.0执行矩阵算术Spark 2.0 ML库中的分布式矩阵在...原创 2020-04-19 00:23:37 · 410 阅读 · 0 评论 -
Apache Spark 2.x Machine Learning Cookbook(2)
第一章:使用Scala使用Spark进行实用的机器学习在本章中,我们将介绍:下载并安装JDK下载并安装IntelliJ下载并安装Spark配置IntelliJ以使用Spark并运行Spark ML示例代码从Spark运行示例ML代码识别用于实际机器学习的数据源使用带有IntelliJ IDE的Apache Spark 2.0运行您的第一个程序如何将图形添加到Spark程序介...原创 2020-04-18 20:43:55 · 455 阅读 · 0 评论 -
scala cookbook第3章:控制语句
第3章:控制语句原创 2020-04-14 15:25:39 · 238 阅读 · 0 评论 -
Scala cookbook 第一章 字符串
字符串,为了和前面创链接原创 2020-04-14 10:24:05 · 247 阅读 · 0 评论 -
Scala cookbook 总章
主要内容: 第1章:字符串 第2章:数字 第3章:控制语句 第4章:类和配置 第5章:方法 第6章: 类 第7章: 包和导入 第8章: 特质 第9章: 函数式编程 第10章:集合 第11章:list,array,map,set 第12章:文件和进程 ...原创 2020-04-14 10:22:20 · 296 阅读 · 0 评论 -
scala 编程思想 _ scala术语表
1、生成(yield):表达式可以生成结果。yield关键字标示了for表达式的结果。2、变型(variance):类或特质的类型参数可以用变型标注{Scala中协变(+)、逆变(-)、上界(<:)、下界(>:) 简单介绍)看源码的时候看到:trait ExtensionId[T <: Extension] {没见过这个符号啊<:1) U >:...原创 2020-02-02 23:16:10 · 322 阅读 · 0 评论 -
scala 编程思想 --数据
package com.test2import scala.util.Tryobject Zipper { def main(args: Array[String]): Unit = { //zip进行数据压缩 val left = Vector("a","b","c","d") val right = Vector("q","r","s","t") ...原创 2020-02-02 15:33:35 · 243 阅读 · 0 评论 -
scala 编程思想 --类方法
覆盖方法到目前为止,我们继承的类都没有真正执行任何能够使彼此有所区分的操作package com.test1object Scala09_test13 { def main(args: Array[String]): Unit = { //地道的scala //定义操作符 //方法名可以包含几乎所有字符。例如,在创建数学包时,你可以按照数学家的方式 ...原创 2020-02-02 14:39:43 · 341 阅读 · 0 评论 -
scala 编程思想 -map和reduce
package com.test1object Scala09_test10 { def main(args: Array[String]): Unit = { //作为对象的函数 //我们可以将方法以对象的形式作为参数给其他方法 //为了实现这一点,需要函数对象来打包方法,函数对象简称为函数 //例如foreach对于像vector这样的序列来说是一个非常有...原创 2020-02-02 06:38:05 · 618 阅读 · 0 评论 -
scala 编程思想 --模式匹配
计算机编程中很大的一部分工作是在进行比较,并基于是否匹配某项条件执行相应的某项条件来执行相应的条件,任何能够使用这项区配表达式会将一个值与可能的选项进行匹配,所有匹配都以要纟较的值开头,后面跟着match关键字,左花括号和一组可能匹配package com.test1object Scala09_test8{ def matchColor(color:String):String...原创 2020-02-01 17:20:25 · 287 阅读 · 0 评论 -
scala 编程思想 --类和对象
对象是包括scala在内的众多现代编程语言的基础。在面向对象编程语言中package com.test1object Scala09_test3 { def main(args: Array[String]): Unit = { val r1 = Range(0,10) //对于range来说,可用操作的数量非常惊人,对象是 //类和对象 //对象是包...原创 2020-02-01 11:06:10 · 287 阅读 · 0 评论 -
scala 编程思想--第一部分
scala编译器 有eclipse ,idea ,sumblime等 scalashell 1、变换目录cd2、目录清单 ls3、创建目录mkdir4、移除目录rm5、移除目录rm -r6、重复前一行命令的最后一个参数:liunx !$ 在 powershell $$7、命令行: history8、unzip 安装sc...原创 2020-01-31 11:21:55 · 363 阅读 · 0 评论