冬之晓

PaddlePaddle简介PaddlePaddle是非常好用的深度学习库，尤其是2.0版本发布以来，高低层API可以自由结合使用，优点如下：可以像tensorflow里面的keras一样非常方便的用几行代码完成模型构建和训练可以像pytorch一样使用通过继承layer层方便结合各种高级神经网络模型PaddleClas为了保持PaddlePaddle主库的核心功能性（主要实现基本算子的优化加速代码），网络种类不能太多，通常不会加入太多高级网络，因此只会留少量的常用的基础网络。如果我们想要体

数据挖掘和机器学习是进行数据处理的非常有用的工具，当代的好多数据都使用这两种方法。但是这两种方法却包含很多模型和方法，对于初学者来说，面对这些模型总是无从下手。因此，后面的论述主要以处理数据的流程入手，把每个方法带入到数据处理的步骤中来讲，使得这些方法在数据处理中的具体位置有一个清晰的显示，有利于理解这些方法。

Python常用数据挖掘的工具包python对于数据处理非常有好的语言，比如常用的scikit-learn和scipy都可以用来进行机器学习和数据挖掘。同时为了使得结果可视化，Python还提供了非常好用的可视化工具包matplotlib和seaborn。使用Python进行层次聚类聚类对于机器学习和数据挖掘来说都是一个非常常用的的工具。其中层次聚类又以其显示效果和可解释效果好而在...

下面开始学习凸优化凸函数基本定义函数f:Rn→Rf:Rn→Rf:R^n \to R，如果domfdomfdomf是凸集，且对于任意x,y∈domfx,y∈domfx,y \in domf和任意0⩽θ⩽10⩽θ⩽10 \leqslant \theta \leqslant 1,有f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(...

簇间自然分割方法今天，主要研究一下层次聚类在进行数据运算的时候，对数据结果进行自然簇分离而需要分析的API————inconsistent() 该函数是计算层次聚类不一致系数的，不一致系数越大，表明使用该阈值进行聚类的偏差越大。这样按照该不一致系数下的阈值进行聚类即相对于其他 情况下的阈值更不适合，因此可以进行自然簇的分离，即取阈值为该不一致系数下小一点即可。解释在这里下面介绍API的...

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。自动编码器（Autoencoders）注：本文大量参考旧版 UFLDL 中文翻译。 迄今为止，已经讲了神经网络在有监督学习方面的的应用。在有监督学习中，...

注：本文转载自https://github.com/exacity/simplified-deeplearning/blob/master/%E5%BE%AA%E7%8E%AF%E9%80%92%E5%BD%92%E7%BD%91%E7%BB%9C/RNN.md 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。循环神经...

注：本文转载自https://github.com/exacity/simplified-deeplearning/blob/master/%E5%BE%AA%E7%8E%AF%E9%80%92%E5%BD%92%E7%BD%91%E7%BB%9C/LSTM.md 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。LST...

最近，在kaggle上找到一位大牛写的机器学习算法总结，感觉流程清晰，内容详实，因此翻译并分享下，由于作者不明原因将原文删除了，所以没法放上原文地址，文中主要以代码实践的方式展开各种算法，原理方面参考文中的地址连接（这是自己加上的），以便时查阅~目录目录使用Python语言进行机器学习工作流的实例分析1. 介绍2. 机器学习工作流程3 问题定义3.1 问题特征3.2 目标...

2 一个简单的对偶实例作为对偶的一个简单应用，在本节中，我们将展示如何形成一个简单凸优化问题的对偶问题。考虑如下的凸优化问题：min⁡x∈R2x12+x2subjectto2x1+x2≥4x2≥1\begin{aligned}\min_{x\in R^2}\quad &x_1^2+x_2 \\subject\quad to \quad&2x_1+x_2\g...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸优化部分的内容进行翻译学习。3. 凸函数凸优化的一个核心要素是凸函数的概念。定义 3.13.13.1 我们称一个函数f:Rn→Rf:R^n\rightarrow Rf:Rn→R是一个凸函数，需要满足其定义域（记作D(f)\mat...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸优化部分的内容进行翻译学习。4 凸优化问题利用凸函数和集合的定义，我们现在可以考虑凸优化问题。 正式的定义为：一个凸优化问题在一个最优化问题中的形式如下：minimizef(x)subjecttox∈Cminimize\qua...

3 SVML1L_1L1​范数的软边界为了看到一个更复杂的拉格朗日对偶例子，我们来推导以前课堂上给出的SVML1L_1L1​范数的软边界的原对偶问题，以及相应的KKT互补（即，互补松弛）条件。我们有：min⁡w,b,ξ12∥w∥2+C∑i=1mξisubjecttoy(i)(wTx(i)+b)≥1−ξi,i=1,...,mξi≥0,i=1,...,m\begin{aligned}\min_...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸优化部分的内容进行翻译学习。隐马尔可夫模型基础摘要我们如何将机器学习应用于随时间变化观察到的一系列数据中来？例如，我们可能对根据一个人讲话的录音来发现他所说的话的顺序感兴趣。或者，我们可能对用词性标记来注释单词序列感兴趣。本小节...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸优化部分的内容进行翻译学习。多元高斯分布介绍我们称一个概率密度函数是一个均值为μ∈Rn\mu\in R^nμ∈Rn，协方差矩阵为Σ∈S++n\Sigma\in S_{++}^nΣ∈S++n​的1^11一个多元正态分布（或高斯分布...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中部分的内容进行翻译学习。更多关于多元高斯分布介绍到目前为止的课堂上，多元高斯分布已经出现在许多应用中，比如线性回归的概率解释、高斯判别分析、高斯混合聚类，以及最近学习的因子分析。在本节的笔记中，我们试图揭开多元高斯函数在最近学习的因...

注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中部分的内容进行翻译学习。高斯过程介绍我们在本课程上半部分讨论的许多经典机器学习算法都符合以下模式：给定一组从未知分布中采样的独立同分布的示例训练样本集：求解一个凸优化问题，以确定数据单一的“最佳拟合”模型，并使用这个估计模型对...

代价函数首先引入一些便于稍后讨论的新标记方法

正则化

分类问题在分类问题中，你要预测的变量 y 是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案。

# 深度学习笔记: 稀疏自编码器

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

翻译学习聚类网址：http://scikit-learn.org/stable/modules/clustering.html

注：本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到CSDN上比较好查阅学习。

机器学习引言定义