- 博客(47)
- 收藏
- 关注
RSS订阅原创 一阶常微分方程（二）|全微分方程+线性方程+常数易变法+伯努力方程
1.全微分方程若存在函数u(x,y)u(x,y)u(x,y)使得du(x,y)=f(x,y)dx+g(x,y)dydu(x,y)=f(x,y)dx+g(x,y)dydu(x,y)=f(x,y)dx+g(x,y)dy则称方程f(x,y)dx+g(x,y)dy=0f(x,y)dx+g(x,y)dy=0f(x,y)dx+g(x,y)dy=0为全微分方程。显然，它的解可以表示为u(x,...
2020-04-28 00:37:33
5307
1
原创 一阶常微分方程（一）| 存在与唯一性定理 + 变量分离 + 齐次方程
一、一阶常微分方程解的的存在与唯一性定理导数已解出的一阶常微分方程可以表示为如下的一般形式：{dydx=f(x,y)y(x0)=y0(1)\begin{cases}\frac{dy}{dx}=f(x,y) \\y(x_0)=y_0 \tag{1}\end{cases}{dxdy=f(x,y)y(x0)=y0(1)对于这类定解问题，有以下解的存在与唯一性定理。**解的存在...
2020-04-28 00:33:35
3792
原创 决策树（二）|特征选择 + 信息熵 +信息增益 / 信息增益比 | 《统计学习方法》学习笔记（十八）
特征选择1. 特征选择问题特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。经验上扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则是信息增益或信息增益比。特征选择时决定是决定用哪个特征来划分特征空间。**例1：**15个样本组成的贷款申请训练数据。贷款申请人有4个...
2020-04-28 00:23:30
2476
原创 决策树（一）|模型+条件概率分布+学习机制 | 《统计学习方法》学习笔记（十七）
用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。决策树模型与...
2020-04-28 00:19:12
3305
原创 朴素贝叶斯（二）|极大似然估计+学习与分类算法+贝叶斯估计| 《统计学习方法》学习笔记（十六）
朴素贝叶斯法的参数估计1. 极大似然估计在朴素贝叶斯法中，学习意味着估计P(Y=ck)P(Y=c_k)P(Y=ck)和P(X(j)=x(j)∣Y=ck)P(X^{(j)}=x^{(j)}|Y=c_k)P(X(j)=x(j)∣Y=ck)。可以应用极大似然估计法估计相应的概率。先验概率P(Y=ck)P(Y=c_k)P(Y=ck)的极大似然估计是P(Y=ck)=∑i=1NI(yi=ck)N,...
2020-04-28 00:11:30
681
原创 朴素贝叶斯（一）|基本方法+后验概率最大化| 《统计学习方法》学习笔记（十五）
朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。朴素贝叶斯法的学习与分类1. 基本方法设输入空间χ⊆Rn\chi \subseteq \bold ...
2020-04-28 00:03:18
535
原创 曼哈顿距离（L1范数）& 欧式距离（L2范数）区别
特征空间中两个实例点的距离是两个实例点相似程度的反映。特征空间一般是n维实数向量空间Rn\bold R^nRn（即欧式空间）。使用的距离是欧式距离，但也可以是其他距离，如更一般的LpL_pLp距离（Lp distanceL_p\space distanceLp distance）或Minkowski距离。设特征空间χ\chiχ是n维实数向量空间Rn\bold R^nRn，...
2020-04-27 23:57:42
7983
原创 k近邻法（三）|构造平衡kd树+搜索kd树| 《统计学习方法》学习笔记（十四）
k近邻法的实现：kd树实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这点在特征空间的维数大及训练数据容量大时尤其必要。k近邻法最简单的实现方法是线性扫描（linear scan）。这时要计算输入实例与每一个训练实例的距离。当训练集很大时，计算非常耗时，这种方法是不可行的。为了提高k近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。1. 构造kd树...
2020-04-27 23:52:09
2110
原创 k近邻法（二）|距离变量+k值选择+分类决策规则| 《统计学习方法》学习笔记（十三）
k近邻模型实质：对应于对特征空间的划分。模型由三个基本要素——距离度量、k值的选择和分类决策规则决定1. 模型k近邻法中，当训练集、距离度量（如欧式距离）、k值及分类决策（如多数表决）确定后，对于任何一个新的输入实例，它所属的类唯一确定。这相当于根据上述要素将特征空间划分为一些子空间，确定子空间里的每个点所属的类。可从最近邻算法中看出。特征空间中，对每个训练实例点，距离该点比其他点更近的...
2020-04-27 23:48:55
2144
原创 k近邻法（一）|摘要+算法| 《统计学习方法》学习笔记（十二）
k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。这里只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出的实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显示的学习过程。k近邻法实际上利用训练数据集对特...
2020-04-27 23:40:47
215
原创 位、字节、字、字长 | 二进制、十进制、八进制和十六进制的相互转换 | 原码、反码、补码
位（bit）：表示二进制位，位时计算机内部数据存储的最小单位，只有两种状态”0“，”1“字节（Byte）：字节是计算机中数据处理的基本单位，计算机以字节为单位存储和解释信息，并规定一个字节有八个二进制构成。（通常1个字节可以存放一个ASCII码， 2个字节可以存放一个汉字国标码）字：是指计算机进行数据处理时，一次存取、加工和传送的数据长度。一个字通常由一个或多个字节构成。字长...
2020-04-20 23:38:30
5417
原创 感知机（三）| 算法原始形式和对偶形式+算法收敛性 | 《统计学习方法》学习笔记（十一）
感知机学习算法感知机学习问题转化为求解损失函数式(2)的最优化问题，最优化的方法是随机梯度下降法。一、 感知机学习算法的原始形式给定一个训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}其中，xi∈χ=Rn,y∈...
2020-04-20 23:00:10
672
原创 感知机(二) | 线性可分性+学习策略 | 《统计学习方法》笔记（十）
一、 数据集的线性可分性定义：给定一个数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}其中，xi∈χ=Rnx_i\in \chi=R^nxi∈χ=Rn，yi∈γ={+1,−1},i=1,2,...,Ny_i\in \...
2020-04-20 09:59:31
550
原创 感知机(一) | 内容摘要+模型 | 《统计学习方法》笔记（九）
感知机知识点感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1两值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单易行的特点，分为原始形式和对...
2020-04-20 09:57:35
218
原创 机器学习分类、标注、回归问题|15mins 入门 | 《统计学习方法》学习笔记（八）
一、分类问题定义：在监督学习中，当输出变量Y去有限个离散值时，预测问题便成为分类问题。这是，输入变量X可以是离散的，也可以是连续的。分类器（classifier）：监督学习从数据中学习一个分类模型或分类决策函数分类（classification）：分类器对新的输入进行输出的预测类（class）：可能的输出。分类的类别为两个时，为二类分类问题，多个时，为多类分类问题分类问题过程：图中(x1...
2020-04-16 22:54:49
520
原创 生成模型与判别模型 | 15mins 入门 | 《统计学习方法》学习笔记（七）
生成模型与判别模型监督学习任务：学习一个模型，应用这个模型，对给定的输入预测相应的输出。模型形式：决策函数：Y=f(X)Y = f(X)Y=f(X)条件概率分布：P(Y∣X)P(Y|X)P(Y∣X)学习方法：生成方法（generative approach）由数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，然后求出条件概率分布P(Y∣X)P(Y|X)P(Y∣X)作为...
2020-04-16 22:52:18
187
原创 模型泛化能力(泛化误差+泛化误差上界)| 15mins 入门 | 《统计学习方法》学习笔记（六）
泛化能力一、 泛化误差学习方法的泛化能力（generalization ability）：方法学习到的模型对未知数据的预测能力。评价标准：测试误差。但因为测试数据集是有限的，很有可能由此得到的评价结果是不可靠的。统计学习理论试图从理论上对学习方法的泛化能力进行分析。泛化误差定义：如果学习到的模型是f^\hat ff^，那么用这个模型对未知数据预测的误差即为泛化误差（generali...
2020-04-16 22:50:04
2219
1
原创 正则化与交叉验证|20mins 入门 | 《统计学习方法》学习笔记（五）
一、正则化正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。正则化一般有如下形式：minf∈F1N∑i=1NL(yi,f(xi))+λJ(f)min_{f\in F}\frac{1}{N} \sum_{i=1}^NL(y_i,f(x_i)) + \lambda J(f)minf∈FN1i=1∑NL(yi,f(xi))+λ...
2020-04-16 22:46:55
268
原创 模型评估与模型选择(训练误差和测试误差+过拟合)| 15mins 入门 | 《统计学习方法》学习笔记（四）
模型评估与模型选择当损失函数给定时，基于损失函数的模型的训练误差(training error)和模型的测试误差(test error)就自然成为学习方法评估的标准.训练误差的大小，对判定给定的问题是不是一个容易学习的问题是有意义的，但本质上不重要。测试误差反映了学习方法对未知的测试数据集的预测能力，是学习中的重要概念，显然，给定两种学习方法，测试误差小的方法具有更好的预测能力，是更有效的方法...
2020-04-16 22:42:28
4246
原创 损失函数与风险函数 + 经验风险最小化和结构风险最小化 | 15mins 入门 | 《统计学习方法》学习笔记（三）
（一）损失函数与风险函数损失函数(loss function)：度量模型一次预测的好坏常用的损失函数：（1）0-1损失函数（0-1 loss function）L(Y,f(x))={1,Y≠f(X)0,Y=f(X)L(Y,f(x))=\begin{cases}1, Y \neq f(X) \\0, Y=f(X)\end{cases}L(Y,f(x))={1,Y=f(X)...
2020-04-16 22:35:43
779
原创 箱形图分析
反映原始数据分布的特征，可以进行多组数据分布特征的比较。绘制方法：上四分位点（Quartile）：Q3Q_3Q3中位数：Q2Q_2Q2下四分位点：Q1Q_1Q1四分位距（InterQuartile Range，IQR）：IQR=Q3−Q1IQR = Q_3-Q_1IQR=Q3−Q1上边缘：非异常值范围内的最大值，Q3+1.5IQRQ_3+1.5IQRQ3+1.5IQR...
2020-04-16 22:01:23
2577
原创 np.reshape(-1)、np.reshape(-1, 1)、np.reshape(1, -1)详解
np.reshape 规范新的shape必须
2020-04-15 17:48:12
11595
1
原创 def function(*args, **kwargs) 解析 + 参数列表的创建 | Python
一、def function(*param)—传递任意数量的实参有时候，由于预先不知道函数需要接受多少个实参，Python允许函数从调用语句中收集任意数量的实参。code 1：def make_pizza(*toppings): """打印顾客点的所有配料""" print(toppings)make_pizza('pepperoni')make_pizza('mushrooms'...
2020-04-15 15:48:06
896
原创 在函数中修改列表或禁止修改列表（code 练习） | Python
一、修改列表注意： 将列表传递给函数后，函数就可对其进行修改。在函数中对这个列表所做的任何修改都是永久性的。Code:def print_models(unprinted_designs, completed_models): """ 模拟打印每个设计，直到没有未打印的设计为止 打印每个设计后，都将其移到列表completed_models中 """ while unprinted...
2020-04-15 15:18:32
376
原创 函数实参(Argument)与形参(Parameters)的区别及应用（默认值与实参可选） | Python
Code:def greet_user(username): """显示简单问候语""" print(""Hello, " + username.title() + "!")greet_user('jesse')形参（parameter）：在函数greet_user()的定义中，变量username是一个形参——函数完成其工作所需的一项信息。实参（argument）：在代码gre...
2020-04-15 14:45:03
886
1
原创 sklearn.pipeline 详解 | 构造规则、运行机制、连接不同pipeline
一、Pipeline构造器规则：需要一个定义步骤顺序的 (名字, 估计器)对的列表。除了最后一个是估计器（estimator），其余都要是转换器（transformer，即要有fit_transform()方法），名字可以随意取。名词解释：可参考【Scikit-Learn | 自定义转换器（transformer）】【 fit()、transform()、fit_transform() 三者联...
2020-04-12 20:57:04
8302
4
原创 numpy.argpatition() 应用详解 + TopK值
numpy.argpartition(a, kth, axis=-1, kind=‘introselect’, order=None)（一）一般numpy中以arg开头的函数都是返回下标，而不改变原数组。参数a是指传入的Numpy.array参数kth是指列表中下标为k位置应该放置该数组中第k大的值例1：import numpy as nparr = np.array([3, 9,...
2020-04-11 17:40:26
4282
1
原创 Scikit-Learn | 自定义转换器（transformer）
一、什么是transformer在Scikit-Learn的设计原则里，所有对象的接口一致且简单。估计器（estimator）：在机器学习中，任何基于数据集，可以对一些参数都被称为估计器（比如RandomForest()、LinearRegression()）。转换器（transformer）：可以转换数据集中数值的估计器，如处理缺失值的SimpleImputer()，可参考【处理残缺值（...
2020-04-09 15:39:47
2536
转载 编程语言中的 DUCK TYPING|python、c++、java、go
如果一只动物走起来像鸭子、游泳起来像鸭子、叫起来也像鸭子，那么这只动物就可以被称为鸭子。许多编程语言都支持 Duck Typing ，通常 Duck Typing 是动态编程语言用来实现多态的一种方式。在理解 Duck Typing 前，先看一张图片，这是曾经一度很火的大黄鸭先问一个比较考三观的问题：图片中的大黄鸭，它是不是一只鸭子呢？这个问题，得看你从哪个角度去看，如果从人们常识的...
2020-04-09 15:12:09
626
转载 用大白话给你科普，到底什么是 API（应用程序编程接口）？
编者按：何为API？如果你在百度百科上搜索，你会得到如下结果：API（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。那么再通俗一点来说，API究竟是什么呢？在我学习软件开发之前，API听起来似乎像是一种啤酒。而现在，我开...
2020-04-09 14:46:53
8213
原创 LabelEncoder()与OneHotEncoder()关系及区别汇总
联系：LabelEncoder（）和OneHotEncoder（）都是Scikit-Learn的一个模块。都是用来处理数据集中的类别变量.【处理类别变量（categorical variable）python-sklearn实现 | 三种常用方法】,可用如下方法调用。from sklearn.preprocessing import LabelEncoderfrom sklearn.pr...
2020-04-09 14:00:08
1465
原创 sklearn | fit()、transform()、fit_transform() 三者联系与区别
fit（）是一个方法（method），与估计器（estimator）结合，需要一个数据集作为参数，用来训练estimator，如estimator.fit()。任何其它用来指导估计过程的参数都被当做超参数，并且是通过估计器的参数设置，将超参数设置成实例变量。transform（）是一个方法，用于estimator.fit()之后，返回的是经过转换的数据集。from sklearn.impu...
2020-04-05 22:22:11
2234
原创 问题查询帮助+课后习题代码|Hands-On Machine Learning with Scikit-Learn and TensorFlow 动手机器学习
Errata for Hands-On Machine Learning with Scikit-Learn and TensorFlow以下网站是该书里内容及代码有出错的地方https://www.oreilly.com/catalog/errata.csp?isbn=0636920052289该网址有该书最新的代码(对书籍代码的纠正)https://nbviewer.jupyt...
2020-04-04 22:11:24
354
原创 数据预处理 | 处理类别变量（categorical variable）python-sklearn实现 | 三种常用方法| Kaggle 学习笔记（四）
方法一：移除法（Drop）将含有类别变量的列移除。import pandas as pd# 读取数据data = pd.read_csv("filename.csv")# 获取数据集中的含有类别变量的列的列名，并用列表表示s = (data.dtypes == 'object')object_cols = list(s[s].index)# 移除含有类别变量的列drop_d...
2020-04-04 01:03:56
10820
原创 数据预处理 | 处理残缺值（Missing value）python-sklearn实现| 三种常用方法 | Kaggle 学习笔记（三）
方法一： 移除法（Drop）将含有残缺值的列直接丢弃。这种方法可能会导致大量有用的信息丢失。import pandas as pd# 读取数据data = pd.read_csv("filename.csv") # 提取出含有残缺值的列cols_with_missing = [col for col in data.columns if data[col].isnull().an...
2020-04-04 00:12:01
2653
原创 ModuleNotFoundError: No module named 'pandas.tools' 解决方法
在旧版本的pandas里引入 scatter_matrixfrom pandas.tools.plotting import scatter_matrix在pandas的0.24.0及以后的版本里引入 scatter_matrixfrom pandas.plotting import scatter_matrix...
2020-04-03 23:22:48
3397
1
原创 octave 代码按回车键不能显示下一部分|Mac OS 系统 | 吴恩达《机器学习》
解决方法：在每个exn.m文件里的Part 1上边 和 clear ； close all ；clc 下边之间增添代码如下：function pause()ANS = input(" ")end即可解决问题。
2020-04-03 23:16:53
175
原创 机器学习|参数的假设检验（显著性检验）-- 与区间估计的异同+ 一般步骤（实际应用）+ 两类错误|20mins 入门|概统学习笔记（三十一）
假设检验的一般步骤某工厂生产的一种螺钉，标准要求长度是32.5毫米。实际生产的产品，其长度X假定服从正态分布N(μ,σ2),σ2N(\mu, \sigma^2), \sigma^2N(μ,σ2),σ2未知，现从该厂生产的一批产品中抽取6件，得尺寸数据如下：32.56， 29.66， 31.64， 30.00， 31.87， 31.87， 31.03问这批产品是否合格？(α=0.01\al...
2020-04-03 23:08:39
2603
原创 机器学习|参数的假设检验（显著性检验）-- 例题引入、解题方法、基本思想|20mins 入门|概统学习笔记（三十）
引入：在这讨论不同于参数估计的另一类重要的统计推断问题。这就是根据样本的信息检验关于总体的某个假设是否正确。这类问题称作假设检验问题(显著性检验)。假设检验分为：参数假设检验：总体分布已知，检验关于未知参数的某个假设非参数假设检验：总体分布未知时的假设检验问题参数的假设检验引入：罐装可乐的容量标准应在350毫升和360毫升之间。生产流水线上罐装可乐不断地封装，然后装箱外运。怎么知...
2020-04-03 18:59:21
3509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人