机器学习 Machine Learning
机器学习
AI_Younger_Man
这个作者很懒,什么都没留下…
展开
-
KSVD字典学习
import numpy as npimport pandas as pdfrom scipy.io import loadmat train_data_mat = loadmat("../data/train_data2.mat") train_data = train_data_mat["Data"]train_label = train_data_mat["Label"] print(train_data.shape, train_label.shape)# 初始化...原创 2020-09-14 20:29:41 · 735 阅读 · 1 评论 -
稀疏表示(二)——KSVD算法详解(结合代码和算法思路)
稀疏表示(二)——KSVD算法详解(结合代码和算法思路) ...原创 2020-09-14 20:22:38 · 1003 阅读 · 0 评论 -
PCA和LDA进行数据降维
DimensionalityReductionPCA和LDA进行数据降维使用PCA对数据进行降维,我们使用两种方式:直接按数学推导的方式实现PCA使用sklearn实现PCA利用降维后的特征进行逻辑回归分类代码使用LDA对数据进行降维,我们使用两种方式:直接按数学推导过程实现LDA使用sklearn实现LDA利用降维后的特征进行逻辑回归分类#%% md#%%import numpy as npimport pandas as pdimport matplotlib.pyp原创 2020-09-10 21:39:00 · 1036 阅读 · 0 评论 -
傅立叶变换、小波分析
原标题:彻底!通俗理解傅立叶分析和小波分析之间的关系 从傅里叶变换到小波变换,并不是一个完全抽象的东西,完全可以讲得很形象。小波变换有着明确的物理意义,如果我们从它的提出时所面对的问题看起,可以整理出非常清晰的思路。 下面就按照傅里叶-->短时傅里叶变换-->小波变换的顺序,讲一下为什么会出现小波这个东西、小波究竟是怎样的思路。 一、傅里叶变换 关于傅里叶变换的基本概念在此我就不再赘述了,默认大家现在正处在理解了傅里叶但还没理解小波的...原创 2020-09-09 16:13:59 · 1270 阅读 · 0 评论 -
高斯滤波
简单易懂的高斯滤波高斯滤波先引入两个问题。1.图像为什么要滤波?答:a.消除图像在数字化过程中产生或者混入的噪声。b.提取图片对象的特征作为图像识别的特征模式。2.滤波器该如何去理解?答:滤波器可以想象成一个包含加权系数的窗口或者说一个镜片,当使用滤波器去平滑处理图像的时候,就是把通过这个窗口或者镜片去看这个图像。滤波器分为很多种,有方框滤波、均值滤波、高斯滤波等。高斯滤波是一种线性平滑滤波,适用于消除高斯噪声。所以在讲高斯滤波之前,先解释一下什么是高斯噪声?高斯噪声首先,噪声在原创 2020-09-09 15:59:39 · 454 阅读 · 0 评论 -
移动平均滤波器(moving average filter)
移动平均滤波器(moving average filter) ...原创 2020-09-09 11:42:40 · 2137 阅读 · 0 评论 -
特征工程(一):数据预处理
原创 2020-08-28 16:45:48 · 71 阅读 · 0 评论 -
随机森林(二):回归树
from sklearn.ensemble import RandomForestRegressorimport sklearnfrom sklearn.datasets import load_bostonfrom sklearn.model_selection import cross_val_score# 数据boston = load_boston()x = boston.datay = boston.target# 模型regression = RandomFor...原创 2020-08-24 17:08:48 · 657 阅读 · 0 评论 -
随机森林:分类树的补充
原创 2020-08-24 15:48:40 · 76 阅读 · 0 评论 -
随机森林(一):分类树
from sklearn.datasets import load_winefrom scipy.special import combimport numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import cross_va...原创 2020-08-24 15:36:28 · 798 阅读 · 0 评论 -
决策树实例-泰坦尼克幸存者预测
原创 2020-08-21 16:13:06 · 193 阅读 · 1 评论 -
决策树(回归树)(一)
from sklearn.datasets import load_bostonimport numpy as npfrom sklearn import treeimport matplotlib.pyplot as pltimport graphvizfrom sklearn.model_selection import cross_val_scorefrom sklearn.tree import DecisionTreeRegressor# boston = l...原创 2020-08-21 10:41:10 · 204 阅读 · 0 评论 -
决策树分类树完结(三)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200820175642526.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODg4MjA5,size_16,color_FFFFFF,t_70#pic_center)原创 2020-08-20 17:58:23 · 81 阅读 · 0 评论 -
决策树的剪枝(二)
这两个参数是在样本分布分厂不均衡的时候使用。因为决策树天生喜欢向样本分类多的一部分数据偏移,所以版本比例不均衡的时候,权重参数需要调整。# 决策树的剪枝 让决策树最大深度是3,可分支节点的样例数是20,切分之后子节点最少包涵10个clf_05 = DecisionTreeClassifier(criterion='gini', random_state=30, ...原创 2020-08-20 16:52:51 · 183 阅读 · 0 评论 -
决策树的建模与可视化(一)
from sklearn.tree import DecisionTreeClassifierfrom sklearn import treefrom sklearn.model_selection import train_test_splitimport pandas as pdimport graphvizfrom sklearn.datasets import load_winewine = load_wine() # 返回的是一个字典pr...原创 2020-08-20 16:19:15 · 351 阅读 · 0 评论 -
线性回归
均方误差损失函数import torchfrom torch import nnimport timeimport pandas as pdimport sklearnimport mathimport matplotlib.pyplot as pltimport numpy as npimport randomfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitn ..原创 2020-06-04 17:08:54 · 94 阅读 · 0 评论 -
决策树自编程和sklearn实现
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitimport mathfrom collections import Counterdef create_datas(): datasets = [['青年', '否', '否', '一..原创 2020-06-02 16:06:58 · 114 阅读 · 0 评论 -
朴素贝叶斯自编程和sklearn实现
模型:高斯模型,多项式模型,伯努利模型等本文用高斯模型举例import numpy as npimport pandas as pdimport matplotlib as plotfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitfrom sklearn import naive_bayesimport mathfrom collections import Count.原创 2020-05-29 15:28:09 · 135 阅读 · 0 评论 -
KNN自编程实现和sklearn实现
# import math# import sklearn# import numpy as np# import pandas as pd# import matplotlib.pyplot as plt# from sklearn import datasets# from sklearn.model_selection import train_test_split# f...原创 2020-05-18 16:15:57 · 186 阅读 · 0 评论 -
感知机模型自编程和sklearn实现(二)
感知机1.感知机是根据输入实例的特征向量对其进行二类分类的线性分类模型:感知机模型对应于输入空间(特征空间)中的分离超平面:2.感知机学习的策略是极小化损失函数:损失函数对应于误分类点到分离超平面的总距离。3.感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法,有原始形式和对偶形式。算法简单且易于实现。原始形式中,首先任意选取一个超平面,然后用梯度下降法不断极小化目标函数。...原创 2020-04-26 17:44:16 · 364 阅读 · 0 评论 -
感知机模型的算法自编程实现和sklearn实现
自编程实现W定义成None,因为W的维度随着x的纬度而变化,b是一个常数自己定义,学习率可以自己定义首先现获取训练集的列,就是有多少笔X。随机梯度下降,每次都选择检测到的一个误分类点进行更新sklearn实现注意:coef蜀兴中保存的是w,intercept中保存的是b,iter属性保存的是迭代的次数。score方法可以算出准确率(训练数据,真是的标签值)创建对象的时候,可以...原创 2020-04-25 16:44:37 · 268 阅读 · 0 评论 -
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
感知机模型模型:其数据集是线性可分的策略:策略就是求误分类点到我找到的分离平面的距离(量化)算法:第一种方法:随机梯度下降法对偶形式的算法:对哦算法更新的内容少了算法收敛性给定一个约束,使得参数的二范数是1.第一个公式证明,只要另r等于前面那个最小的就行。第二个公式的证明:k是误分类点修正的次数,它是有上界的。分成两小步来证明:第二小步证明二范数:(也...原创 2020-04-25 16:01:22 · 1305 阅读 · 0 评论 -
多项式函数拟合sin函数(最小二乘法求解参数及其正则化)
1.统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。2.统计学习方法三要素——模型、策略、算法,对理解统计学习方法起到提纲挈领的作用。3.本书主要讨论监督学习,监督学习可以概括如下:从给定有限的训练数据出发, 假设数据是独立同分布的,而且假设模型属于某个假设空间,应用某一评价准则,从假设空间中选取一个...原创 2020-04-25 14:27:11 · 7405 阅读 · 0 评论 -
极大似然估计和贝叶斯估计
极大似然估计 MLE1、抛硬币实验,不给定正反面的参数,设一个,二项分布。2、写出出现结果序列的概率3、求解概率公式,关于参数的函数,求偏导求参数的极大似然估计贝叶斯估计 Bayes假设知道是0/1之间的均匀分布(我假设的,观察经验,你也可以设置其他的)1、给定一个你认为合理的参数,给定结果序列2、写出条件概率公式,贝叶斯公式分母是积分常数对比样本量很大:二者一样样...原创 2020-04-24 15:56:20 · 169 阅读 · 0 评论 -
统计学习方法 第一章
第一章1.2节模型有两种,一种是直接输出数值,另一种是输出概率。条件概率分布是一个x对应好多y,得到的是一个y的分布输出数值是一个x输出一个y1.3节统计机器学习三要素模型模型集合:假设空间决策函数对应的是参数,概率分布对应的是y的分布策略策略就是损失函数的设计,怎么样从假设空间当中选取最合适的模型。0/1损失函数:常用语分类问题平方损失:回归问题绝对值损失 :取绝...原创 2020-04-24 15:37:20 · 153 阅读 · 0 评论 -
sklearn中sklearn.model_selection的应用与实践
强大的sklearn库可以解决的问题:train_test_split返回切分的数据集train/test:train_test_split(*array,test_size=0.25,train_size=None,random_state=None,shuffle=True,stratify=None)*array:切分数据源(list/np.array/pd.DataFrame/...原创 2020-04-23 17:16:41 · 4925 阅读 · 0 评论 -
sklearn中datasets的使用与实践
介绍 sklearn.datasets模块主要提供了一些导入、在线下载及本地生成数据集的方法,可以通过dir或help命令查看,目前主要有三种形式:load_<dataset_name> 本地加载数据,保存在了本地磁盘上fetch_<dataset_name> 远程加载数据make_<dataset_name> 构造数据集方法本地加载数据集...原创 2020-04-23 15:40:47 · 5005 阅读 · 0 评论 -
机器学习中L1和L2正则化详细解释
机器学习中,如果参数过多,模型过于复杂,容易造成过拟合(overfit)。即模型在训练样本数据上表现的很好,但在实际测试样本上表现的较差,不具备良好的泛化能力。为了避免过拟合,最常用的一种方法是使用使用正则化,例如 L1 和 L2 正则化。但是,正则化项是如何得来的?其背后的数学原理是什么?L1 正则化和 L2 正则化之间有何区别?L2正则化L2 正则化公式非常简单,直接在原来的损失函数基础上...原创 2020-02-29 13:35:52 · 945 阅读 · 2 评论 -
机器学习之模型的选择
模型的选择原创 2020-02-29 13:19:34 · 1397 阅读 · 0 评论 -
机器学习基本思想
没有标签:利用数据的分布学习交互过程中成功和失败中学习,决策行为来获得反馈就是更新参数损失函数梯度下降法更新参数 : 步长0.01 导数是方向模型如何选择:...原创 2020-02-28 22:48:33 · 1511 阅读 · 0 评论 -
机器学习的分类:面向预测 / 面向决策
新一代搜索:问答系统感觉这个更像是NLP的应用:淘宝在地址复制粘贴的时候有信息抽取抖音in 今日头条的推荐打方块原创 2020-02-28 12:12:01 · 185 阅读 · 0 评论