机器学习
绝尘花遗落
一骑红尘妃子笑,无人知是荔枝来
展开
-
BP神经网络原理及应用
1、基本原理一种按照误差逆向传播算法训练的多层前馈神经网络。BP网络模型处理信息的基本原理是:输入信号XiXiX_i通过中间节点(隐层点)作用于输出节点,经过非线形变换,产生输出信号YkYkY_k,网络训练的每个样本包括输入向量XXX和期望输出量ttt,网络输出值YYY与期望输出值ttt之间的偏差,通过调整输入节点与隐层节点的联接强度取值WijWijW_{ij}和隐层节点与输出节点之间的联接强...原创 2018-02-09 15:26:24 · 4301 阅读 · 0 评论 -
机器学习基础——支持向量机1
间隔与支持向量给定训练样本集D={(x1,y1),(x2,y2)⋯ ,(xn,yn)},yi∈{−1,+1}D=\{(x_1,y_1),(x_2,y_2)\cdots, (x_n,y_n)\},y_i\in \{-1, +1\}D={(x1,y1),(x2,y2)⋯,(xn,yn)},yi∈{−1,+1},分类学习的最基本的思想就是基于样本空间中找个一个划分超平面,将不同类别的样本...原创 2019-09-25 10:26:38 · 313 阅读 · 0 评论 -
机器学习基础——数据降维
数据降维数据降维是机器学习领域中非常重要的内容,所谓的降维就是指采用某种映射方法,将高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数f:x→yf:x\rightarrow yf:x→y,其中x是原始数据点的表达,目前多使用向量表达形式。y是数据点映射后的低维向量表达,通常y的维度小于x的维度。维度灾难与降维对于kkk近邻法,最好要求采样点比较密集。理论上给定测试样本x⃗\...原创 2019-09-20 21:18:06 · 684 阅读 · 0 评论 -
机器学习基础——主成分分析
主成分分析主成分分析(Principal Component Analysis,PCA)是最常用的一种降维方法。对于正交属性空间中的样本点,如果用一个超平面对所有的样本进行恰当的表达最近重构性:样本点到这个超平面的距离都足够近最大可分性:样本点在这个超平面上的投影能尽可能分开。假定数据样本进行中心化,即∑ixi=0\sum_i x_i=0∑ixi=0,在假定投影百年换后得到的新的...原创 2019-09-20 20:45:10 · 456 阅读 · 1 评论 -
机器学习实战——K近邻
K近邻实战数据导入# -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as pltfrom sklearn import neighbors, datasets, model_selectiondef load_classification_data(): """ 加载数据集 :...原创 2019-09-16 19:56:37 · 238 阅读 · 0 评论 -
机器学习基础——K近邻
K近邻基础k近邻法分类的直观理解:给定一个训练数据集,对于新的输入实例,在训练集中找到与该实例最邻近的k个实例。这k个实例的多数属于某个类别,则该输入实例就划分这个类别。KNN三要素k近邻法的三要素:k值选择、距离度量和分类决策规则。k值选择当k=1时k近邻算法称为最近邻算法。此时将训练集中与x⃗\vec xx最近点的类别作为x⃗\vec xx的分类。k值的选择会对k近邻法的结果产生重...原创 2019-09-16 17:15:06 · 290 阅读 · 0 评论 -
机器学习实战——贝叶斯分类器
贝叶斯实战在scikit中有多种不同的朴素贝叶斯分类器,区别在于假设了不同P(X(j)∣y=ck)P(X^{(j)}|y=c_k)P(X(j)∣y=ck)的分布。GaussianNB是高斯贝叶斯分类器,假设特征的条件概率分布满足高斯分布P(X(j)∣y=ck)=12πσk2exp(−(X(j)−μk)22σk2)P(X^{(j)}|y=c_k) = \frac{1}{\sqrt{...原创 2019-09-13 16:35:03 · 1025 阅读 · 1 评论 -
机器学习基础——贝叶斯分类器
贝叶斯分类器贝叶斯分类是一种分类算法的总称,这种算法的均以贝叶斯定理为基础。贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公司计算出其后验概率,即该对象属于某一类的概率。主要的特点属性可以离散、也可以是连续数学基础扎实,分类效率稳定对缺失和噪声数据不敏感属性如果不相关,分类效果很好,如果相关,则不低于决策树。贝叶斯定理设SSS为试验EEE的样本空间。B1,B2⋯&...原创 2019-09-11 21:00:54 · 664 阅读 · 0 评论 -
机器学习实战——决策树
决策树实战scikit-learn 中有两类的决策树,它们均采用优化的CART决策树算法回归决策树(Decision Tree Regressor)DecisionTreeRegressor实现了回归决策树,用于回归问题DecisionTreeRegressor(criterion='mse', splitter='best', max_depth=None,min_samples_sp...原创 2019-09-11 17:24:25 · 429 阅读 · 0 评论 -
机器学习基础——决策树
基本流程决策树(decision tree)是一类常见的机器学习方法。决策树是基于树结构来进行决策的,这恰好是人类面临决策问题时一种很自然的处理机制。一般的,一颗决策树包含一个根节点、若干内部结点和若干叶节点。叶节点对应于决策结果,其他每个结点对应于一个属性测试,每个结点包含的样本集合根据属性测试的结果被划分到子结点中。决策树学习的目的是为了产生一颗泛化能力强,即处理未见示例能力强的决策树...原创 2019-09-03 21:10:17 · 137 阅读 · 0 评论 -
机器学习实战——逻辑回归和线性判别分析
逻辑回归函数原型为sklearn.linear_model.LogisticRegression(...)参数penalty:一个字符串,指定了正则化策略l2 优化目标函数为12∣∣ω∣∣22+CL(ω),C>0,L(ω)\frac{1}{2}||\pmb{\omega}||_2^2 +CL(\pmb \omega),C>0,L(\pmb \omega...原创 2019-08-27 09:48:40 · 1316 阅读 · 0 评论 -
机器学习实战——线性回归模型
线性回归模型基本设置导入包数据加载函数线性回归模型线性回归模型的正则化岭回归(Ridge Regression)参数Lasso回归ELasticNet回归基本设置导入包import matplotlib.pyplot as pltimport numpy as npfrom sklearn import datasets, linear_model, discriminant_anal...原创 2019-08-26 15:11:05 · 1474 阅读 · 1 评论 -
机器学习基础——模型评估与选择
模型评估与选择经验误差与过拟合评估方法留出法交叉验证法自助法调参与最终模型性能度量错误率和精度查准率、查全率与$F_1$ROC和AUC代价敏感错误率与代价曲线比较检验偏差与方差经验误差与过拟合错误率(error rate):如果有m个样本中有aaa个样本分类错误,则错误率E=amE = \frac{a}{m}E=ma精度(accuracy):1−am1-\frac{a}{m}1−ma...原创 2019-08-21 20:09:45 · 393 阅读 · 0 评论 -
机器学习基础——术语
基础术语介绍基本术语假设空间归纳偏好今天开始学习西瓜书哦。。。。基本术语机器学习所研究的主要内容,是关于在计算机上从数据中产生“模型”(model)的算法,即“学习算法”(learning algorithm)数据集(data set):这组记录的集合称为一个“数据集”,其中每条记录是关于一个事件或对象。这个过程通过执行某个学习算法来完成,训练过程中使用的数据称为“训练数据”(trai...原创 2019-08-21 19:36:18 · 262 阅读 · 0 评论 -
机器学习基础——线性模型
线性模型基本形式线性回归对数几率回归线性判别分析多分类学习基本形式给定由ddd个属性描述的示例x=(xi;x2;⋯ ,xd)x=(x_i;x_2;\cdots,x_d)x=(xi;x2;⋯,xd),其中xix_ixi在x\mathbf{x}x在第iii个属性上的取值。。f(x)=ω1x1+ω2x2+⋯+ωdxd+bf(\pmb{x}) = \omega_...原创 2019-08-25 16:27:43 · 334 阅读 · 0 评论 -
机器学习基础——支持向量机2
软间隔与正则化我们一直假定训练样本在样本空间或特征空间中是线性可分的,但是现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分。缓解该问题的一个方法就是允许向量机在一些样本上出错。硬间隔(hard margin)要求所有的样本均满足约束,但是软间隔则是允许某些样本不满足约束yi(wTxi+b)≥1y_i(\pmb{w^Tx_i}+b) \ge 1yi(wTxiwT...原创 2019-10-02 21:18:22 · 179 阅读 · 0 评论