2018年03月_S大幕

12月 11月 04月 03月 01月

转载【数据结构】牛顿法求平方根

from 计算平方根的算法主要介绍牛顿法：公式如下： xn+1=12(xn+Sxn)xn+1=12(xn+Sxn)x_{n+1}=\frac{1}{2}\left(x_n+\frac{S}{x_n}\right)具体代码试下如下：double sqrt_(double x) { double g=x; while(ABS(g*g-x)&g...

2018-03-29 12:12:45 439

原创【LeetCode】788.Rotated Digits

LeetCode 788Rotated Digits X is a good number if after rotating each digit individually by 180 degrees, we get a valid number that is different from X. Each digit must be rotated - we cannot ...

2018-03-27 11:22:50 673

原创【数据结构】多数组上中位数/多数组中第 K 大的数（Olog(n)）

/** 题目描述给定两个有序数组arr1和arr2，两个数组长度都为N，求两个数组中所有数的上中位数。* 例如：* arr1 = {1,2,3,4};* arr2 = {3,4,5,6};* 一共8个数则上中位数是第4个数，所以返回3。** arr1 = {0,1,2};* arr2 = {3,4,5};* 一共6个数则上中位数是第3个数，所以返回2。* 要求：时间复杂度O(...

2018-03-26 09:49:05 1131

原创【机器学习】L1 与 L2 正则化

L1 与 L2 正则化1. 通常基本理解 L1 正则化和 L2 正则化可以看做是损失函数的惩罚项。所谓的惩罚就是就损失函数中的某些参数做一些限制。对于线性回归模型，使用 L1 正则化的模型叫做 Lasson 回归，使用 L2 正则化的模型叫做 Ridge 回归（岭回归）。下面两个公式分别表示加了 L1 和 L2 正则化的线性回归： minw12nsamples||Xw−y||22...

2018-03-20 17:16:58 704

原创【机器学习】线性回归

基本的线性回归模型因为都比较容易这里不赘述，主要讲线性回归中的 Lasso 问题1. 线性回归正则化为了防止模型的过拟合，我们在简历线性模型的时候经常需要加入正则化项。一般有 L1 正则化和 L2 正则化。其中，L1 正则化通常称为 Lasso 回归，它和一般线性回归的区别是在损失函数上增加了一个 L1 正则化的项，L1 正则化的项有一个常数 αα\alpha 来调节损失函数的均方差...

2018-03-20 10:38:09 404

原创【机器学习】降维

降维在进行特征计算时，如果维度过高，会给很多计算带来灾难性的后果，比如当维度很高的时候甚至连内积的计算都十分困难。在高维的情形下出现的数据样本稀疏，距离计算等困难问题，被称为 “维数灾难（curse of dimensionality）”。而缓解维数灾难的一个途径就是进行降维（dimension reduction），也就是通过某种数学变换将高维属性空间转变为一个低维 “子空间”（subs...

2018-03-19 13:57:04 1011

原创【C++】c++ 11中的随机数 ——random

c++ 中的随机数在 C++ 程序中，在新标准出现之前，C 和 C++ 都依赖一个简单的 C 库函数 rand 来生成随机数，但是，这个函数生成的是均匀分布的伪随机数，每个随机数的范围在 0 和一个系统相关的最大值（至少为 32767）之间。 rand 函数有一些问题：即使不是大多数，也有很多程序需要不通范围的随机数。一些应用需要随机浮点数。一些程序需要非均匀分布的随机数。而在编写程...

2018-03-18 15:08:43 35837

原创【机器学习】聚类

1. 距离计算当对一些没有 Label 的数据进行分类的时候，需要满足一些的基本性质：非负性：dist(xi,xj)≥0dist(xi,xj)≥0dist(x_i,x_j)\geq 0；同一性：dist(xi,xj)=0dist(xi,xj)=0dist(x_i,x_j)=0，当且仅当 xi=xjxi=xjx_i=x_j；对称性：dist(xi,xj)=dist(xj,xi)di...

2018-03-18 10:28:23 862

原创【机器学习】集成学习

集成学习（ensemble learning）通过构建并结合多个学习起来完成学习任务，有时也被称为多分类器系统（multi-classifer system)、基于委员会的学习等等。通过不同的方式来将多个分类器结合成为一个强分类器，具体可以分为“同质集成”和“异质集成”。其中，同质指的是最后构建的分类器系统仅仅由一种相同的基分类器构成，而异质指的是最后构建的分类器系统由不仅一...

2018-03-16 10:10:10 656

原创【机器学习】朴素贝叶斯

朴素贝叶斯朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先给予特征条件独立假设学习出输入输出的联合概率分布；然后基于此模型，对给定的输入 xxx，利用贝叶斯定理求出后验概率最大的输出 yyy。朴素贝叶斯方法实现简单，学习与预测的效率都比较高，是一种常用的方法。基本方法设输入空间 X⊆RnX⊆Rn\mathcal{X}\s...

2018-03-12 11:06:32 378

原创【机器学习】决策树

决策树还表示给定特征条件下类的条件概率分布。这一条件概率分布定义在特征空间的一个划分上。将特征空间划分为互不相交的单元或是区域，并在每个单元定义一个类的概率分布就构成了一个条件概率分布。决策树中的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。假设 X 表示特征的随机变量，Y 是表示类的随机变量，那么这个条件概率根部可以表示为 P(Y|X...

2018-03-07 16:16:59 632

原创【机器学习】类别不平衡学习

本文主要记录《机器学习》一书中关于类别不平衡问题的处理。类别不平衡问题（class-imbalance）就是说对于分类任务来说，不同类别的训练样例相差很大的情况。不是一般性，这里主要介绍负样本远远多于正样本的情况。（在阅读深度神经网络论文时，发现这种情况非常常见）。首先从线性分类器的角度来进行理解。使用 y=ωTx+by=ωTx+b\boldsymbol {y=\omega^Tx...

2018-03-06 01:19:10 2769 2

转载【机器学习】线性判别分析——LDA

本文转载自博客　线性判别分析LDA原理总结　在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。　在学习LDA...

2018-03-05 16:46:43 820

在线性回归中，西瓜书 P54 页有如下公式： ∂E(ω,b)∂ω∂E(ω,b)∂b=2(ω∑i=1mx2−∑i=1m(yi−b))=2(mb−∑i=1myi−ωxi)(640)(641)(640)∂E(ω,b)∂ω=2(ω∑i=1mx2−∑i=1m(yi−b))(641)∂E(ω,b)∂b=2(mb−∑i=1myi−ωxi)\begin{align}\frac{\partial{E_{(\o...

2018-03-03 23:38:47 336