spark
关注
分享
扫一扫
半_调_子
因为热爱
展开
-
人工打标实现交通画像
人工打标实现交通画像package main.scala.com.jsptpd.anylysishotwordsimport java.util.Propertiesimport com.jsptpd.anylysishotwords.HostWordInfoimport org.apache.spark.sql.{Dataset, SparkSession}import scala.collection.mutableimport org.json4s._import org.j原创 2021-01-22 00:02:12 · 437 阅读 · 0 评论 -
spark从数据库中获取字段，进行分词再入库
package com.jsptpd.anylysishotwordsimport java.io.{FileInputStream, InputStreamReader, StringReader}import java.util.{Date, Properties}import java.util.regex.Patternimport org.apache.spark.sql.{SaveMode, SparkSession}import org.wltea.analyzer.core..原创 2020-12-09 22:38:11 · 542 阅读 · 0 评论 -
Spark graphx
graphx介绍弹性分布式属性图graphx图存储原理分区（partition）策略集合视图：图视图---图数据进行分区，进行分析图计算的优势基于内存实现了数据的复用与快速读取统一了图视图和表视图能与Spark框架上的组件无缝集成graphx图存储原理边分割点分割图计算使用的是点分割分式存储图graphx分区策略random...原创 2020-04-23 00:00:48 · 426 阅读 · 0 评论 -
Learning Spark sql :目录
目录前言本书涵盖的内容这本书需要什么这本书是给谁的约定读者反馈客户支持下载示例代码下载本书的彩色图像勘误海盗行为问题1. Spark SQL入门什么是Spark SQL？介绍SparkSession了解Spark SQL概念了解弹性分布式数据集（RDD）了解数据框和数据集了解Catalyst优化器了解Catalyst优化了解Catalyst转化...原创 2020-04-22 19:37:01 · 432 阅读 · 0 评论 -
spring secutiry oauth2.0认证制授权 --Spring secuity快速上手
Spring Security快速上手1Spring Security介绍Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架，由于它是spring生态系统的一员，因此它伴随着整个spring生态系统不断修正，升级，在springboot项目中加入spring security更是十分简单，使用spring security...原创 2020-04-22 08:23:14 · 530 阅读 · 0 评论 -
Mastering Spark for Data Science：输入格式和架构
本章的目的是演示如何将数据从其原始格式加载到不同的模式，从而使各种不同类型的下游分析能够在同一数据上运行。 在编写分析甚至更好地构建可重用软件的库时，通常必须使用固定输入类型的接口。 因此，根据目的，灵活地在模式之间转换数据的方式可以带来可观的下游价值，既可以扩展可能的分析类型，又可以重新使用现有代码。我们的主要目标是学习Spark随附的数据格式功能，尽管我们还将通过引入行之有效的方法来深入研...原创 2020-04-20 19:25:51 · 579 阅读 · 0 评论 -
Mastering Spark for Data Science：数据集成
作为数据科学家，最重要的任务之一就是将数据加载到数据科学平台中。 本章将说明如何构建Spark中的常规数据提取管道，该管道可作为跨许多输入数据的可重用组件，而不是使用不受控制的临时过程。 我们将逐步进行配置，并演示如何在各种运行条件下提供重要的Feed管理信息。读者将学习如何构造内容寄存器，并使用它来跟踪加载到系统的所有输入并在摄取管道上传递度量，以便可以可靠地将这些流作为自动的熄灯过程运行。...原创 2020-04-20 16:49:23 · 455 阅读 · 0 评论 -
Mastering Spark for Data Science：通过spark进行数据科学
Spark对数据科学世界的影响令人震惊。 自从Spark 1.0发布至今还不到3年，但Spark已经被公认是任何大数据架构的全能内核。 大约在此期间，我们在巴克莱银行采用了Spark作为我们的核心技术，这被认为是一个大胆的举动。 现在可以肯定，Spark是任何大数据科学项目的起点。第1章，大数据科学生态系统，本章介绍了通过大规模数据获得成功的方法和随附的生态系统。它着重于将在后面的章节中使用的...原创 2020-04-20 14:24:16 · 612 阅读 · 0 评论 -
Apache Spark 2.x Machine Learning Cookbook(3) Spark的三种用于机器学习的数据火枪手-完美结合
在本章中，我们将介绍以下内容：使用内部数据源通过Spark 2.0创建RDD使用外部数据源通过Spark 2.0创建RDD使用filter() API使用Spark 2.0转换RDD使用超级有用的flatMap() API转换RDD使用set的操作API转换RDD使用groupBy()和reduceByKey()进行RDD转换/聚合使用zip()API转换RDD使...原创 2020-04-19 13:01:02 · 321 阅读 · 0 评论 -
Apache Spark 2.x Machine Learning Cookbook(2) ---使用spark学习线性代数
在本章中，我们将介绍以下内容：包导入和向量和矩阵的初始设置使用Spark 2.0创建DenseVector并进行设置使用Spark 2.0创建SparseVector并进行设置使用Spark 2.0创建DenseMatrix并进行设置在Spark 2.0中使用稀疏局部矩阵使用Spark 2.0执行矢量算术使用Spark 2.0执行矩阵算术Spark 2.0 ML库中的分布式矩阵在...原创 2020-04-19 00:23:37 · 419 阅读 · 0 评论 -
Apache Spark 2.x Machine Learning Cookbook(2)
第一章：使用Scala使用Spark进行实用的机器学习在本章中，我们将介绍：下载并安装JDK下载并安装IntelliJ下载并安装Spark配置IntelliJ以使用Spark并运行Spark ML示例代码从Spark运行示例ML代码识别用于实际机器学习的数据源使用带有IntelliJ IDE的Apache Spark 2.0运行您的第一个程序如何将图形添加到Spark程序介...原创 2020-04-18 20:43:55 · 472 阅读 · 0 评论 -
scala cookbook第3章：控制语句
第3章：控制语句原创 2020-04-14 15:25:39 · 248 阅读 · 0 评论 -
Scala cookbook 第一章 字符串
字符串，为了和前面创链接原创 2020-04-14 10:24:05 · 255 阅读 · 0 评论 -
Scala cookbook 总章
主要内容： 第1章：字符串 第2章：数字 第3章：控制语句 第4章：类和配置 第5章：方法 第6章： 类 第7章： 包和导入 第8章： 特质 第9章： 函数式编程 第10章：集合 第11章：list,array,map，set 第12章：文件和进程 ...原创 2020-04-14 10:22:20 · 307 阅读 · 0 评论