- 博客(41)
- 收藏
- 关注
RSS订阅原创 Spark-Submit
Spark-SubmitSpark基于 Yarn 的提交任务，有两种模式，一种是 client，另一种是 cluster 。在 standalone 模式下也有 client 和 cluster 两种方式，方式大同小异，在 yarn 下将 ResourceManager 改为 Master ， NodeManager 改为 Worker ，就变成了 standalone 模型。1. client模式提交任务的命令是：./spark-submit --master yarn --de
2021-07-31 17:50:29
201
原创 Spark RDD
Spark RDD文章目录Spark RDD一、RDD结构与操作1. RDD的创建2. RDD的结构3. RDD的分区Hash分区弊端：可能导致每个分区中数据量的不均匀，极端情况下会导致某些分区拥有RDD的全部数据。Range分区器要求RDD中的KEY类型必须是可以排序的4. RDD的转换常见的转换算子常见的Action算子5. RDD的ShuffleHashShuffleManager：SortShuffleManager：6. RDD的缓存7. RDD的计算Task划分依据8. RDD关于数据库连接
2021-07-31 17:47:44
345
1
原创 Spark 性能优化之Map-Join
Spark 性能优化之Map-Join文章目录Spark 性能优化之Map-Join1. Spark Stage的划分1.1 RDD的依赖关系1.1.1 窄依赖的实现1.1.2 宽依赖的实现1.2 Lineage(血统)与DAG中Stage的划分1.2.1 Lineage1.2.2 Stage的划分2. Reduce-Join和Map-Join2.1 Reduce-Join 的原理2.2 Map-Join 的原理3. Map-Join的手动实现1. Spark Stage的划分1.1 RDD的依赖关系
2021-01-25 17:21:50
4347
1
原创 决策树
数值数据的机器学习预测算法一、分类分类任务就是通过学习得到一个 目标函数 f ，把每个属性集 x 映射到一个预先定义的类标号 y 。目标函数：分类模型1、分类的作用描述性建模：作为解释性的工具，用于区分不同类中的对象。预测性建模：预测未知记录的类标号。2、适用范围适合描述或者预测二元或标称类型的数据集不适用于序数分类，子类与超类关系等3、一般方法4、评估方法4.1、二类问题的混淆矩阵二类问题的混淆矩阵
2020-07-19 18:25:03
884
原创 最大子数组问题
最大子数组问题问题描述: 寻找数组A[1…n]和最大的非空连续子数组。条件: 数组中必须含有负数，不然将毫无意义，因为最大子数组将就是数组A本身。思想：分治思想。假设我们要求A的子数组A[low, high]的最大子数组。根据分治策略，我们先将A[low,high] 平分那么 A[low,highj]的子数组A[i,j]只有三种可能a: 完全位于A[low, mid]; 此时 l...
2020-04-19 16:46:50
379
1
原创 Go语言之简单算法的实现——归并排序算法
Go语言之简单算法的实现——归并排序算法文章目录**Go语言之简单算法的实现——归并排序算法**1.1 归并排序升序算法1.1 归并排序升序算法/** * @title merge * @description 归并算法, 将两个已经有序的子序列归并为一个有序的序列 * 空间复杂度: O(2n) * 时间复杂度: O(n) * @auth: ncuwen * @param: le...
2020-04-12 15:35:05
272
原创 Python学习笔记——序列
Python学习笔记——序列文章目录Python学习笔记——序列1. 列表连接方式1.1 通过“+” 号连接 （创建新的对象，并需要复制对象）1.2 通过 extend 方式连接 （将元素添加到原有列表）比较2. 切片2.1 基本形式 start: end2.2 切片赋值2.3 缺省索引2.4 负索引2.5 步进值2.6 骚操作(操作很骚，划重点)3. 内建函数3.1 enumera...
2019-11-18 18:11:57
369
2
原创 Spark DataFrame入门学习笔记
Spark DataFrame入门学习笔记文章目录Spark DataFrame入门学习笔记1. 添加配置文件1.1、 配置文件存放目录1.2、 添加读取配置代码2. 初始化Spark3. 读入数据3.1、 本地文件导入2.2 从Hive数据库中读取2.3 从关系型数据库中读取(eg: Mysql)4. 数据倾斜后的散列操作4.1 添加随机数散列到不同节点5. 数据分批次处理1. 添加配置文件...
2019-10-12 14:44:40
504
1
原创 Go语言之简单算法的实现——冒泡排序算法
Go语言之简单算法的实现——冒泡排序算法文章目录Go语言之简单算法的实现——冒泡排序算法1.1 冒泡排序升序算法1.1 冒泡排序升序算法/** * 冒泡排序升序算法 * 优点：简单易懂, 传入切片，利用引用传值，开销较小 * 缺点：时间复杂度高，数组大时，时间开销大 * 空间复杂度: O(n) * 时间复杂度：O(n^2) * Author：ncuwen */func Bub...
2019-10-10 10:55:44
213
原创 Go语言之简单算法的实现——插入排序算法
Go语言之简单算法的实现——插入排序算法文章目录Go语言之简单算法的实现——插入排序算法1、直接插入排序算法1.1 直接插入排序升序算法(以空间节省时间)1.2 直接插入排序升序算法(以时间节省空间)1、直接插入排序算法1.1 直接插入排序升序算法(以空间节省时间)普通查找方式/** * 直接插入排序升序算法(以空间节省时间) * 优点: 实现简单,新建切片存储排序后结果，能节省...
2019-10-10 10:52:48
276
原创 Go语言之简单算法的实现——查找算法
Go语言之简单算法的实现——查找算法文章目录Go语言之简单算法的实现——查找算法1. 二分查找算法1.1 二分查找算法: 在指定切片(有序)中查找第一个大于给定值的元素索引1.2 二分查找算法: 在指定切片(有序)中查找等于给定值的元素索引1. 二分查找算法1.1 二分查找算法: 在指定切片(有序)中查找第一个大于给定值的元素索引递归实现/** * 二分查找算法: 在指定切片(有序...
2019-10-10 10:51:23
642
原创 Scala中一些经典场景的解决方案
Scala中一些经典场景的解决方案文章目录Scala中一些经典场景的解决方案1、Spark DataFrmae执行udf函数时传入外部变量1、Spark DataFrmae执行udf函数时传入外部变量解决方案：通过scala中的闭包实现示例如下：将value在valueList中的行中的date进行格式化package antistopimport org.apache.spark....
2019-09-25 09:21:13
245
2
原创 Pandas一些常见场景的解决方案
Pandas一些常见场景的解决方案文章目录Pandas一些常见场景的解决方案1.过滤出DataFrame中某一列值在某个List中数据DataFrame groupby之后对数据进行聚合操作1.过滤出DataFrame中某一列值在某个List中数据场景如下：import pandas as pddata = {'one': pd.Series([1., 1., 3., 4.], inde......
2019-09-25 09:18:50
375
转载 免费数据集下载（很全面）
“聚数据”平台整理了网上开放的免费科研数据集，以下是分类列表以及下载地址，供高校和科研机构免费下载和使用。金融美国劳...
2019-09-20 14:51:28
3465
原创 机器学习-分类算法支持向量机简要概述
机器学习-分类算法支持向量机简要概述文章目录机器学习-分类算法支持向量机简要概述1. 监督学习与无监督学习2. 支持向量机 ——SVM2.1 线性可分2.2 线性不可分2.3 核函数3. python sklearn中的使用(二分类问题)3.1 SVC3.2 NuSVC3.3 LinearSVC4. 多分类问题5. 回归1. 监督学习与无监督学习首先，简要理解一下 监督学习 和 无监督学习 ...
2019-08-07 18:18:51
531
1
原创 Python sklearn学习之特征选择
Python sklearn学习之特征选择文章目录Python sklearn学习之特征选择1. 移除低方差特征2. 单变量特征选择2.1 单变量特征选择工具类2.2 score_func参数说明2.2.1 用于回归：2.2.2用于分类：3. 递归式特征消除4. SelectFromModel4.1 基于 L1 的特征选取4.2 基于 Tree（树）的特征选取5. 特征选取作为 pipelin...
2019-08-06 17:29:24
1431
原创 Python sklearn学习之缺失值插补
Python sklearn学习之缺失值插补文章目录Python sklearn学习之缺失值插补1 单变量插补1.1 SimpleImputer类2 多变量插补2.1 IterativeImputer类3 标记缺失值scikit-learn要求数据没有缺失值，如果出现了缺失值，则需要对数据集进行插补——从已有数据推断出缺失的数据。在插补过程中，若只使用缺失特征维度中非缺失值来插补该特征维度下...
2019-08-02 18:08:22
14341
1
原创 Python sklearn学习之数据预处理——非线性转换
Python sklearn学习之数据预处理——非线性转换文章目录Python sklearn学习之数据预处理——非线性转换1. 两种常见的非线性转换1.1 分位数转换1.2 幂变换2. sklearn中非线性变换的实现2.1 映射到均匀分布2.1.1QuantileTransformer类2.2 映射到高斯分布2.2.1 Yeo-Johnson transform变换2.2.2 the Box...
2019-08-01 13:16:41
5380
1
原创 Python sklearn学习之数据预处理——标准化
Python sklearn学习之数据预处理——标准化文章目录Python sklearn学习之数据预处理——标准化1. 数据集常见标准化方式min-max标准化(Min-Max-normalization)z-score 标准化(zero-mean-normalization)2. 数据标准化实现2.1 z-score 标准化(zero-mean-normalization)2.1.1 Sta...
2019-08-01 13:14:03
9781
原创 Python Pandas 合并联接——Merge
Python Pandas 合并联接——Merge文章目录Python Pandas 合并联接——Merge1. Pandas 安装2. Pandas 的数据操作使用pandas前需要先引入pandas，若无特别说明，pd作为Pandas别名的通用写法2.1 作用2.2 参数说明2.3 单主键实例说明2.4 多主键实例说明2.5 未作为合并参考主键的列名出现重复2.6 提示合并详情Panda...
2019-07-30 15:10:51
4243
原创 Python Pandas 的使用——DataFrame
Python Pandas 的使用——DataFramePandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。1. Pandas 安装官方推荐的安装方式是通过Anaconda安装，但Anaconda太过庞大，若只是需要Pandas的功能，则可通过PyPi方式安装。pip install Pand...
2019-07-29 16:45:54
1378
原创 Python Pandas 的使用——Series
Python Pandas 的使用——SeriesPandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。1. Pandas 安装官方推荐的安装方式是通过Anaconda安装，但Anaconda太过庞大，若只是需要Pandas的功能，则可通过PyPi方式安装。pip install Pandas...
2019-07-29 11:46:27
9065
3
原创 微服务启动时日志冲突解决方案
微服务启动时日志冲突解决方案logback与log4j 日志冲突异常如上所示。SpringBoot 默认的日志格式是 logback ，但由于项目中使用的是log4j方式的日志格式，所以需要禁用 logback 的日志格式，再配置 log4j 的格式。项目中，内置了 logback 日志格式的依赖是：<dependency> <groupId>org.sp...
2019-07-23 17:56:23
649
1
原创 JAVA8-Stream API
JAVA8-Stream API只能以事先规定好的顺序被读取一次的数据的一个序列，称之为数据流。 —— HenzingerStream 特性在JAVA8中，java.util.stream 中定义的一系列流API，是对 集合（Collection） 对象功能的增强，它专注于对集合对象进行各种非常便利、高效的聚合操作（agg...
2018-10-08 15:34:34
182
3
原创 方法引用
方法引用什么是方法引用：通过方法的名字来指向一个方法的的方式叫做 方法引用 ——引用而不调用特征：操作符 ::本质：Lambda 表达式的快捷写法使用说明该方法已经存在或者是构造方法如果该方法存在入参，需要借助foreach循环实现如果该方法的返回类型是 void ,则默认会使用 Consumer&lt;T&gt; 接口会者其子接口如果该方法的返回类型不是 void ,则...
2018-09-30 17:39:18
150
原创 函数式接口
函数式接口jdk1.8 之前的函数式接口java.lang.Runnablenew Thread(()-&amp;amp;gt;System.out.println(&amp;quot;开启一个线程！&amp;quot;)).start();java.util.concurrent.CallableExecutorService threadPool = Executors.newSingleThreadExecutor();...
2018-09-30 14:59:44
3163
原创 函数式编程
函数式编程函数式接口官方给出的对于 函数式接口 的概念，可以用一句话来说明：除了继承自Object的public方法外，有且只有一个抽象方法的接口，称之为 “ 函数式接口 ”JDK1.7 中的接口对于这句话，我们首先要理解 jdk1.8 中对于接口的定义。早先在 jdk1.7 的版本中，对于接口的定义（官网已经找不到了，只能从书中或者博客中找到）相对来说比较容易理解：An inter...
2018-09-29 17:24:55
205
原创 Ribbon 客户端负载均衡
Ribbon 客户端负载均衡负载均衡负载均衡 建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。分类分类实现方式优点缺点软件在一台或多台服务器相应的操作系统上安装一个或多个附加软件基于特定环境，配置简单，使用灵活，成本低廉软件本身耗费资源、可扩展性不好、受操作系统限...
2018-09-28 15:44:44
968
原创 Web资源路径
HTML路径：在html中，想要引用一个文件，需要使用正确的文件路径。顾名思义，就是该文件所在的位置。通过正确的路径，我们可以获得该文件，使用了错误的文件路径，就会导致引用失效(无法浏览链接文件，或无法显示插入的图片等)。注：这里说的文件，包括图像文件，影视文件，文本文件等。分类Relative Path（相对路径）：同一个目录的文件引用Absolute Path（绝对路径）：带域名的文...
2018-09-26 19:59:32
1684
原创 文档流
文档流定义：将窗体自上而下分成一行行, 并在每行中按从左至右的顺序排放元素,即为文档流占用文档流：我们将网页比作一张二维平面，那么挂载在该平面的网页对象就称为占用了文档流。网页中大部分对象默认是占用文档流。不占文档流：不挂在文档流这个平面上的对象，则称为不占用文档流。主要方式有：设置float设置position为fixed设置position为absolute父类元素与子类元素的...
2018-09-26 19:49:58
165
原创 SpringCloud对Netflix Zuul的封装
SpringCloud对Netflix Zuul的封装Netflix zuul是提供的是作为集群服务前门的API网关服务，而SpringCloud 是以SpringBoot 为基础实现的，要在SpringCloud里面封装Netflix Zuul，则必须符合SpringBoot的理念——习惯优于配置。@EnableZuulProxy在SpringCloud中，几乎所有组件的使用都是以 @En...
2018-09-26 19:46:40
937
原创 Http请求与响应格式
author : 丁家文Http请求与响应格式Http 请求的格式Http请求由 请求行，消息报头，请求正文 三部分组成。请求行：以一个方法符号开头，后面跟着请求URI和协议的版本，以CRLF作为结尾条件：请求行以空格分隔。除了作为结尾的CRLF外，不允许出现单独的CR或LF字符格式：Method Request-URI HTTP-Version CRLFMethod：表示...
2018-09-26 19:45:36
160
原创 Netflix Zuul 1.x 的理念与原理学习
author : 丁家文Netflix Zuul 1.x 的理念与原理学习Zuul 的概念Zuul，SpringCloud 系列的API网关，Netflix全家桶的核心组件之一。在一个微服务集群中， Zuul 担任的角色既是 关口，也是 代理门户 。说它是关口，是因为它是整个集群提供的唯一的外部访问的通道，任何请求，如果想要访问集群内部的服务，都必须通过该关口进入。在通过Zuul时...
2018-09-26 19:43:55
689
原创 Turbine学习笔记
Turbine学习笔记Turbine原理Hystrix/stream在微服务架构中，Hystrix提供的是一种熔断机制，当分布式系统中的一个服务出现问题时，Hystrix保证该系统不产生雪崩效应，而能继续服务。Hystrix为每一个依赖服务维护一个线程池（或者信号量），当线程池占满，该依赖服务将会立即拒绝服务而不是排队等待。每个依赖服务都被隔离开来，Hystrix 会严格控制其对资源的占用，...
2018-09-25 11:23:29
12229
1
原创 Eureka 服务注册与发现
Eureka 服务注册与发现版本采用 Zuul Core 1.4.6微服务架构由一组小的服务组成，服务之间采用轻量级的通讯机制进行沟通，微服务之间调用关系是一个网状结构，一个微服务在调用另一个微服务的时候，无法知道另一个微服务的具体地址；由于每个服务属于"微"服务，每个服务生命周期不长，每个服务可能随时被关闭、重启、替换；在随着访问量增加的时候，微服务需要扩容，访问量减少时，微服务需要缩容；这...
2018-09-25 11:18:52
691
原创 Zuul API Gateway
Zuul API Gateway版本采用 Zuul Core 1.3.0微服务首先要解决的问题就是随着服务数量的增加而导致的部署授权、负载均衡、通信管理、分析和改变的难度增加的问题，面对这个问题，主流的解决方案就是增加一个API GATEWAY，由API GATEWAY提供访问限制、安全、流量控制、分析监控、日志、请求转发、合成和协议转换功能，以解放放开发者去把精力集中在具体逻辑的代码，而不是...
2018-09-25 11:16:24
2000
原创 从Spring中Bean的产生谈到SpringBoot的核心原理
从Spring中Bean的产生谈到SpringBoot的核心原理以Bean的“产生”为核心的 AutoConfiguration 机制1. Bean的标识正如每个人都有自己的名字，对于Spring来说，每个Bean也有对应的标识，这是Spring辨别这些Bean的依据。/** * A BeanDefinition describes a bean instance. * This ...
2018-09-25 11:03:44
1775
原创 Bezier曲线绘制算法与字母参数
绘制算法//3次Bezier曲线的循环实现算法double coor[8];int main() { HDC hdc = GetHdc(); for (int i = 0; i < N; i++) { for (int j = 0; j < 8; j++) { coor[j] = coordinate[i][j]; ...
2018-09-17 14:59:34
2562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人