Machine learning
文章平均质量分 74
Mathematical derivation and programming implementation of some classical machine learning algorithms
NP_hard
ShenZhen University-CSSE-CS
️ Github: Np_hard (David-deng-yeah)
Interest: Database-Kernel & Distributed-System & Machine-Learning
展开
-
流形学习(sklearn调包的demo)
文章目录导入数据可视化数字可视化的函数流形学习的算法对图像数据进行非线性降维(降至2维)可视化降维情况导入数据from sklearn.datasets import load_digitsdigits = load_digits(n_class=6)X, y = digits.data, digits.targetn_samples, n_features = X.shapen_neighbors = 30可视化数字import matplotlib.pyplot as pltfi原创 2021-11-11 01:14:24 · 1361 阅读 · 0 评论 -
kaggle--Titanic问题
文章目录数据探索数据处理特征工程数据统计与分析模型比较调参模型性能度量查看模型的统计学指标绘制混淆矩阵总结算是记录一次完整的数据挖掘过程吧数据探索首先我们导入一些实验中需要的包import pandas as pd import numpy as np from sklearn import svm, tree, linear_model, neighbors, naive_bayes, ensemble, discriminant_analysis, gaussian_process原创 2021-11-03 14:15:36 · 326 阅读 · 0 评论 -
CNN简述+Pytorch实现基于CNN的食物识别
文章目录CNNConvolutionMax PoolingFlatten为什么要Max Pooling?pytorch实现食物识别并进行多分类CNN下图为CNN的整体架构,主要分为ConvolutionMax PoolingFlattenConvolutionnn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)in_channels表示的是输入卷积层的图片厚度out_chann原创 2021-08-10 01:04:32 · 3230 阅读 · 3 评论 -
浅谈生成式模型与辨别式模型,以naive Bayes和logistic regression为例
文章目录classificationnaive Bayeslogistic regressionlogistic regression和linear regression的异同生成式vs辨别式多分类classification我们以分类作为大背景,来看看生成式模型与辨别式模型的区别假设你是大木博士,你有一个任务,是训练一个模型来对水属性宝可梦和一般属性宝可梦进行二分类我们的类别集合为C={C1,C2}C=\{C_1,C_2\}C={C1,C2},其中C1C_1C1为水系宝可梦,C2C_2C2原创 2021-07-08 23:25:51 · 459 阅读 · 4 评论 -
模型训练的bias,variance,validation的简介
文章目录Bias and Variance模型选择(validation)Cross ValidationN-fold Cross Validation本次文章的内容是参考的李宏毅老师的机器学习课件,我认为课件中关于bias,variance,validation的部分讲的很好,很生动,于是想写一篇简单的blog来记录。Bias and Variance为了生动的说明什么是Bias,什么是Variance,我会举一个抓宝可梦的regression的例子。假设你是一个宝可梦训练家,你需要使用糖果去原创 2021-07-06 15:18:15 · 474 阅读 · 1 评论 -
关联规则算法(Apriori算法 and FP-growth算法)
文章目录由于学习关联规则时没有找到比较浅显易懂的博客,于是打算自己写一篇快速了解关联规则的博客参考的博客:FP-growth算法Apriori算法关联规则挖掘是一种基于规则的机器学习算法,可以在大数据样本库中挖掘频繁项集,...原创 2021-08-14 12:26:56 · 1591 阅读 · 0 评论 -
基于sklearn的聚类方法简介
文章目录相似度/距离计算方法总结聚类的基本思想和方法k-meansk-means改进k-means总结均值漂移(Mean Shift)层次聚类密度聚类DBSCAN谱聚类核聚类聚类评价指标半监督学习半监督聚类相似度/距离计算方法总结聚类的基本思想和方法基本思想对于给定的类别数目k,首先给出初始化分,通过迭代改变样本核簇的隶属关系,使得每一次改进之后的划分方案都较前一次好方法k-meansk-means改进k-means总结均值漂移(Mean Shift)层次聚类密度聚类DBSCAN原创 2021-05-14 14:59:19 · 630 阅读 · 0 评论 -
马氏距离(Mahalanobis Distance)
转载链接转载 2021-04-22 18:55:54 · 217 阅读 · 0 评论 -
提升学习简介(AdBoost算法,前向分步算法,梯度提升树)
文章目录BoostingAdBoost算法前向分步算法BaggingBoostingAdBoost算法前向分步算法Bagging未完待续。。。原创 2021-05-17 19:17:05 · 574 阅读 · 0 评论 -
线性鉴别分析简介
文章目录LDA理论推导代码实现LDA理论推导代码实现import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom sklearn.datasets import make_classificationfrom sklearn.discriminant_analysis import LinearDiscriminantAnalysis%matplotlib原创 2021-04-02 21:34:18 · 297 阅读 · 0 评论 -
SVM(硬间隔,软间隔,核方法)的推导
文章目录SVM简介Hard-Margin SVMSoft-Margin SVMKernel SVM对偶性条件(强,弱)的几何直观解释KKT条件解释手写算法实现SVM简介Hard-Margin SVMSoft-Margin SVMKernel SVM对偶性条件(强,弱)的几何直观解释KKT条件解释手写算法实现(未完待续…)...原创 2021-04-17 22:14:36 · 430 阅读 · 0 评论 -
决策树简介
文章目录算法原理分析算法原理分析原创 2021-04-26 22:07:03 · 540 阅读 · 0 评论 -
朴素贝叶斯分类器简介
文章目录算法推导算法流程手写代码实现算法推导算法流程如果没有Y的先验概率,就先计算Y的先验概率:P(Y=Ck)=(mk+λ)/(m+Kλ)P(Y=C_k)=(m_k+\lambda)/(m+K\lambda)P(Y=Ck)=(mk+λ)/(m+Kλ)分别计算第k个类别的第i维特征的第j个取值的条件概率:P(Xi=xij∣Y=Ck)P(X_i=x_{ij}|Y=C_k)P(Xi=xij∣Y=Ck)如果是离散值:P(Xi=xij∣Y=Ck)=mkij+λmk+SiλP(X_i=x_ij原创 2021-04-23 20:00:31 · 315 阅读 · 1 评论 -
吴恩达机器学习作业8(下)--- 推荐系统
文章目录代码分析数据集代码分析导入数据datafile = 'data/ex8_movies.mat'mat = scipy.io.loadmat( datafile )Y = mat['Y']R = mat['R']nm, nu = Y.shape# Y is 1682x943 containing ratings (1-5) of 1682 movies on 943 users# 0意味着这部电影没有评分# R is 1682x943 containing R(i,j) = 1 i原创 2021-03-03 12:55:30 · 6525 阅读 · 0 评论 -
吴恩达机器学习作业8(上)--- Anomaly Detection(异常检测)
文章目录代码分析前言实现高斯分布函数估计高斯分布的参数选择阈值ε高维数据集测试数据集代码分析前言异常检测模型分为原始模型和多元高斯分布模型原始模型为多元高斯分布模型的特例其区别是原始模型的协方差矩阵为对角矩阵,其特征相互独立多元高斯分布模型的特征存在相关性实现高斯分布函数首先导入类库import numpy as npimport matplotlib.pyplot as pltimport scipy.io import scipy.optimize #Use for fmi原创 2021-02-25 21:01:11 · 296 阅读 · 0 评论 -
吴恩达机器学习作业7(下)---Principal Component Analysis(包含实现,降维应用,可视化应用)
文章目录implementing PCA前言代码分析Face Image Dataset前言代码分析PCA for visualization前言代码分析数据集implementing PCA前言PCA,即主成分分析,是流行的降维算法(无监督学习算法),其主要应用有减小数据集的特征维度,从而减小内存或者磁盘储存的消耗提升算法效率,加快算法的运行将数据集的特征维度减小到3维及以下,方便可视化代码分析首先导入类库import numpy as npimport matplotlib.p原创 2021-02-22 00:33:40 · 437 阅读 · 0 评论 -
吴恩达机器学习作业7(上)---K-means Clustering 的实现和应用(图像压缩)
文章目录K-means 实现图像压缩前言数据集K-means 实现导入类库import numpy as npimport matplotlib.pyplot as pltimport scipy.io #导入.mat文件from random import sample #随机初始化import matplotlib.cm as cm #用于在特定颜色映射中显示图像from scipy import linalg #Used for the "SVD" functionimport i原创 2021-02-20 18:28:00 · 396 阅读 · 1 评论 -
吴恩达机器学习作业6---Support Vector Machines apply in Spam Classification(下)
文章目录前言代码分析数据集spamTrain.matspamTest,matspamSample1.txtspamSample2.txtvacab.txtemailSample1.txtemailSample2.txt前言本次作业是用svm对邮件进行分类,筛选出垃圾邮件邮件为txt文件首先我们要对邮件进行预处理,去除,替换一些符号然后,将处理好的邮件str转化为单词列表根据给定的单词dict,将邮件单词列表转化为0/1表示的列向量根据此向量,训练线性核SVM得到的SVM模型即可用于分类原创 2021-02-19 18:16:03 · 10237 阅读 · 1 评论 -
吴恩达机器学习作业6---Support Vector Machines(上)
文章目录代码分析1. SVM with linear Kernels2. SVM with Gaussian Kernels3. 高斯核SVM自动选择参数C和σ数据集代码分析1. SVM with linear Kernels首先带入类库import numpy as npimport matplotlib.pyplot as pltimport scipy.io #导入mat文件import scipy.optimize #fmin_cg to train the linear regres原创 2021-02-19 16:19:23 · 268 阅读 · 0 评论 -
理解机器学习中的偏差(bias)和方差(variance)
转载链接转载 2021-02-17 23:55:27 · 238 阅读 · 0 评论 -
吴恩达机器学习作业5---Regularized Linear Regression and Bias vs. Variance
Regularized Linear Regression and Bias vs.Variance文章目录Regularized Linear Regression and Bias vs.Variance代码分析实现正则化线性回归模型数据集代码分析在本练习中,我们将实现正则化线性回归,并使用它来研究具有不同偏差-方差特性的模型首先导入类库import numpy as npimport matplotlib.pyplot as pltimport scipy.io #Used to loa原创 2021-02-15 01:03:34 · 359 阅读 · 2 评论 -
吴恩达机器学习作业4---Neural Networks Learning
Neural Networks Learning文章目录Neural Networks Learning代码分析数据集ex4data1.matex4weights.mat代码分析首先,下图为本次需要构建的神经网络模型输入为一张20x20的图片,用以识别手写数字该神经网络分为三层,输入层有400+1(bias unit)个单元,隐藏层有25+1个单元,输出层有10个单元训练一个神经网络模型主要分为几个步骤随机初始化参数θ执行正向传播,得到每一层的(z,a)执行反向传播,对参数进行梯度下降原创 2021-02-09 21:26:21 · 492 阅读 · 2 评论 -
吴恩达机器学习作业3---Multi-class Classification and Neural Networks
多元分类和神经网络文章目录多元分类和神经网络代码分析1.Multi-class Classification神经网络数据集ex3data1.matex3weights.mat代码分析首先导入需要的类库import numpy as npimport matplotlib.pyplot as pltimport pandas as pdimport scipy.io #Used to load the OCTAVE *.mat filesimport scipy.misc #Used to s原创 2021-02-07 18:21:22 · 556 阅读 · 0 评论 -
吴恩达机器学习作业2---logistic regression
logistic regression代码分析测试1首先导入将要用到的类库import numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom scipy import optimizefrom scipy.special import expit #Vectorized sigmoid function%matplotlib inline#可选读入数据,并进行处理datafile = 'data/ex2d原创 2021-02-06 17:46:10 · 268 阅读 · 1 评论 -
吴恩达机器学习作业1---linear regression
linear regression文章目录linear regression1. 代码演示1.单变量的线性回归2.多元线性回归3.Normal equation算法2. 测试集13. 测试集21. 代码演示1.单变量的线性回归本次作业在jupyter notebook上完成首先,导入需要用到的类库import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import axes3d, Axes3Dfr原创 2021-01-29 20:04:10 · 556 阅读 · 0 评论 -
吴恩达---机器学习笔记
这是一个督促自己学习的笔记文章目录这是一个督促自己学习的笔记第一节1.1监督学习1.2 无监督学习第一节1.1监督学习监督学习主要分为两类,回归问题和分类问题回归问题,就是让模型预测一个连续的值分类问题,是给模型一些特征,根据这些特征对新的元素进行分类,与回归问题要预测连续的值不同,分类问题只用将新的元素归类为几个离散值1.2 无监督学习...原创 2021-01-28 15:07:20 · 465 阅读 · 0 评论 -
吴恩达---深度学习编程作业3 利用多隐藏层神经网络模型对猫图进行二元分类
Deep Neural Network for Image Classification: Application文章目录1.数据集1.训练集2.测试集3.加载数据集所需的函数(dnn_app_utils_v3.py)2.实现1.数据集1.训练集链接2.测试集链接3.加载数据集所需的函数(dnn_app_utils_v3.py)import numpy as npimport matplotlib.pyplot as pltimport h5pydef sigmoid(Z):原创 2021-01-27 20:01:19 · 372 阅读 · 0 评论 -
吴恩达---深度学习编程作业2 带隐藏层的平面数据分类
Planar data classification with a hidden layer数据集1.planar_utils.pyimport matplotlib.pyplot as pltimport numpy as npimport sklearnimport sklearn.datasetsimport sklearn.linear_modeldef plot_decision_boundary(model, X, y): # Set min and max valu原创 2021-01-25 20:58:46 · 363 阅读 · 3 评论 -
吴恩达--深度学习笔记
这是一个督促自己学习的笔记1.神经网络基础----二分分类把一张含有猫的图片作为输入,要求输出1 or 0首先,猫的图片可以分为三个图层,红,绿,蓝,三个图层分别从上往下,从左往右读取灰度值,构成一个列向量Xi(Mx1),假设训练集有N张照片,则这N张照片可以合成一个矩阵(MxN),可以通过python的x.shape得到矩阵的大小。2.logistic回归...原创 2021-01-15 22:59:00 · 364 阅读 · 0 评论