![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
机器学习
有情怀的机械男
这个作者很懒,什么都没留下…
展开
-
【机器学习——决策树】——两种方法实现,含模型的保存和调用
目录1、ID3算法2、使用sklearn API——模型保存和调用成功1、ID3算法以下实现了决策树的创建、可视化绘制、决策树的保存和调用但是在利用决策树进行预测的时候出现错误分类代码#实用决策树进行分类def classify(inputTree, featLabels, testVec): firstStr = inputTree.keys()[0] secondDict = inputTree[firstStr] featInde原创 2022-01-04 13:03:07 · 1649 阅读 · 0 评论 -
【机器学习——BP神经网络】——Python实现、模型保存与调用
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2021/12/31 21:46# @Author : @linlianqin# @Site : # @File : bp.py# @Software: PyCharm# @description:import pandas as pdimport numpy as npimport datetimefrom sklearn.utils import sh.原创 2022-01-01 14:49:00 · 2409 阅读 · 1 评论 -
【机器学习——贝叶斯分析】——Python实现、模型保存与调用
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2022/1/1 13:49# @Author : @linlianqin# @Site : # @File : naivyBates.py# @Software: PyCharm# @description:from sklearn.naive_bayes import GaussianNBfrom sklearn.naive_bayes import Ber.原创 2022-01-01 14:47:43 · 1004 阅读 · 0 评论 -
【机器学习】——SVM实现、保存模型、调用模型
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2021/12/31 16:56# @Author : @linlianqin# @Site : # @File : svm_.py# @Software: PyCharm# @description:'''将数据集输入到SVM模型中进行训练得到训练好的模型'''# 导入模块from sklearn import svmimport numpy as.原创 2022-01-01 14:46:21 · 2317 阅读 · 6 评论 -
【机器学习】——numpy实现多层感知机(MLP)进行MNIST识别
import numpy as npimport matplotlib.pyplot as pltclass MLP: " Multi-layer perceptron " def __init__(self, sizes, beta=1, momentum=0.9): """ sizes is a list of length four. The first element is the number of features in each samples. In th..原创 2021-12-13 23:26:00 · 3643 阅读 · 5 评论 -
【机器学习】——《机器学习实战》面试复习
目录一、机器学习概念二、机器学习步骤三、有监督学习1、k-近邻算法核心思想实例:手写数字的识别优缺点:2、决策树相关概念核心思想一些小技巧优缺点3、神经网络4、SVM——支持向量机核心思想SVM和SVR的区别5、集成学习核心思想一、机器学习概念机器学习就是将传感器等方式得到的海量的数据转化为有用的信息的过程。就是根据以往的经验和数据使得构建的模型最优,以此来更加满足需求。二、机器学习步骤1、采集数据——拍照、传感器.原创 2021-08-31 01:47:45 · 549 阅读 · 0 评论 -
【机器学习】——卷积神经网络(Keras)修改学习率(定值+自适应)
目录1、直接获取现有模型的学习率2、打印显示学习率3、调整学习率1)1.LearningRateScheduler2)ReduceLROnPlateau利用tensorflow的Keras模块我们可以建立我们自己定义的卷积神经网络模型,但是一般不会触碰到学习率这个问题,一般默认的学习率都是0.001,有时候希望学习率小一点,需要调参,因此记录一下1、直接获取现有模型的学习率import tensorflow.keras as tfkfrom tensorflow.kera原创 2021-03-26 14:17:08 · 5933 阅读 · 0 评论 -
【图像处理】——Python实现图像特征提取&BP神经网络实现图像二分类
一、图像特征提取图像具有灰度特征、GLCM特征、Huments不变矩特征、LBP特征,具体可参考我主页的其他博客import cv2import numpy as npfrom numpy import histogram#灰度特征def GrayFea(faultness): ''' :param faultness: 灰度图像 :return: list->(4) ''' hist0 = cv2.calcHist([faultness], [0], None, [25原创 2020-10-13 16:00:38 · 6256 阅读 · 9 评论 -
【机器学习实战】——常见函数积累
主要是为了记录在学习机器学习的过程中所遇到的一些常用的但是自身接触少的函数原创 2020-09-13 23:36:06 · 816 阅读 · 0 评论 -
机器学习——深度学习之编程工具、流行网络结构、卷积神经网络结构的应用
目录一、编程工具caffe实现LENET-5二、流行的网络结构1、VGGNET2、Googlenet 3、ResNet 三、卷积神经网络的应用1、人脸识别 2、人脸验证3、人脸特征点检测4、卷积神经网络压缩一、编程工具caffe的优点:模型标准化,源代码是公开的,适用于图像识别,通过修改代码可以将其变成符合自己需求的模型caffe的缺点:结构不够灵活,因为caffe就是为了卷积神经网络进行设计的caffe实现LENET-5..原创 2020-06-16 12:45:48 · 275 阅读 · 0 评论 -
机器学习——深度学习之卷积神经网络(CNN)——AlexNet卷积神经网络结构
目录一、AlexNet卷积神经网络结构模型1、数据库ImageNet2、AlexNet第一层卷积层二、AlexNet卷积神经网络的改进1、非线性变化函数的改变——ReLU2、最大池化(Max Pooling)概念的提出——卷积神经网络通用1)池化层2)最大池化问题1:在AlexNet中,后向传播时,池化后特征图像的梯度怎么传给池化前的图像?——赢者通吃法3)池化过程的功能和效果3、随机丢弃(Drop Out)问题2:为什么参数要乘以(1-p)?4、增加训练原创 2020-06-16 10:48:03 · 1165 阅读 · 0 评论 -
机器学习——深度学习之数据库和自编码器
目录一、数据库——数据获取1、Mnist2、ImageNet二、自编码器(Auto-encoder)——参数初始化1、功能2、基本思想1)训练第一层2)训练第二层及以后的神经网络3)利用BP对整个神经网络的参数初始值进行微调3、关键代码三、卷积神经网络SVM适用于小样本,神经网络适用于大样本一、数据库——数据获取1、Mnist二值图就是只有黑白两色2、ImageNet二、自编码器(Auto-encoder)—..原创 2020-06-15 15:07:36 · 538 阅读 · 2 评论 -
机器学习——深度学习之卷积神经网络(CNN)——LeNet卷积神经网络结构
图 LeNet卷积神经网络结构前接:《机器学习——深度学习之数据库和自编码器》一、LeNet卷积神经网络结构1、卷积神经的作用由手工设计卷积核转换为自动学习卷积核卷积公式有很多:如傅里叶变换、小波变换等卷积核主要的作用就是将元素先乘再加(积分的本质就是加)2、LeNet二、关于卷积神经网络结构的一些术语定义图 LeNet卷积神经网络结构1、特征图(Feature map)原图像经过卷积核作用得到的图像称为特征图,如图 LeNet卷积神经网络结构所示2、he原创 2020-06-15 15:06:22 · 2702 阅读 · 1 评论 -
【机器学习】神经网络BP理论与python实例系列
理论部分《机器学习——人工神经网络之发展历史(神经元数学模型、感知器算法)》《机器学习——人工神经网络之多层神经网络(多层与三层)》《机器学习——人工神经网络之后向传播算法(BP算法)》《机器学习——人工神经网络之参数设置(BP算法)》实例部分《机器学习——人工神经网络之BP算法编程(python二分类数据集:马疝病数据集)》...原创 2020-06-14 18:22:59 · 646 阅读 · 0 评论 -
机器学习——人工神经网络之BP算法编程(python二分类数据集:马疝病数据集)
目录一、理论知识回顾1、神经网络模型2、明确任务以及参数1)待估参数:2)超参数:3)任务3、神经网络数学模型定义1)激活函数2)各层权重、阈值定义3)各层输入输出定义4、优化问题的目标函数与迭代公式1)目标函数2)待估参数的优化迭代公式二、python编程1、编程步骤2、数据准备、数据处理、数据划分1)数据下载2)关键代码3、初始化待估参数1)关键代码2)np.random.randint(a,b,(m,n))函数原创 2020-06-14 18:20:15 · 11113 阅读 · 6 评论 -
机器学习——SVM之交叉验证对参数(C,gamma)进行优化以及选择
对于C和gamma参数的确定,一般是通过交叉验证的方法来进行确定的,大概思路就是将C和gamma参数在一定地取值范围内按照一定的步长(默认为1)进行取值组合,在不同(C,gamma)的组合下,将训练集样本均分成k组,一组作为验证的数据样本,其余k-1组则用来作为训练的数据,每一组数据都轮流着作为验证数据样本,这样在一组(C,gamma)组合下,就需要进行K次计算,把这K次计算的模型测试准确率score的均值作为这组(C,gamma)下模型的得分。这样的话就能够得到不同(C,gamma)组合下模型的得分,取得原创 2020-06-11 17:35:55 · 15961 阅读 · 7 评论 -
【机器学习】SVM理论与python实践系列
对SVM系列理论和python实现的文章进行了一个总结原创 2020-06-09 21:50:31 · 509 阅读 · 0 评论 -
机器学习——图解SVM中gamma和c参数的作用
参数c和gamma的作用我们通过下图详解参数c的作用,首先我们以一个简单的线性分类器为例,上一个博客中我们知道影响分类器的主要因素是支持向量,即虚线上的样本,如下图可知:但当正负样本的分布在如下情况时,需要引入核函数对数据进行高维度的映射,具体如下图: 实线为决策平面,虚线上的样本为支持向量。参数c上图中我们知道决策平面与支持向量之间有一个距离差,而在实际工程中,参数c正是影响了支持向量与决策平面之间的距离,具体效果为:c越大,分类越严格,不能有错误c越小,意味着...原创 2020-06-09 21:39:04 · 7875 阅读 · 0 评论 -
机器学习之支持向量机SVM之python实现ROC曲线绘制(二分类和多分类)
机器学习之支持向量机SVM之python实现ROC曲线绘制(二分类和多分类)原创 2020-06-09 21:17:47 · 15021 阅读 · 1 评论 -
机器学习——python实现SVM模型w,b的查看
基于源代码:《机器学习——支持向量机SVM之python实现简单实例一》进行讲解1、线性模型这里以二特征三类,一对多策略为案例kernel = “linear”:线性核,参数有w,b线性模型的决策边界是:w0iTx0i + w1iTx1i + bi = 0注:w0iTx0i + w1iTx1i + bi = 1和w0iTx0i + w1iTx1i + bi = -1是穿过支持向量的决策面,边界i的大小由类别的个数决定,i = n,说明决策函数有n个,因此查看参数的时候,w为一个nx2原创 2020-06-09 17:16:19 · 3405 阅读 · 1 评论 -
机器学习——SVM之python实现数据样本标准化和归一化
机器学习——SVM之python实现数据样本标准化和归一化原创 2020-06-09 16:24:50 · 10902 阅读 · 2 评论 -
机器学习——支持向量机SVM之python实现简单实例一(含数据预处理、交叉验证、参数优化等)
本文通过一个简单的例子来讲述了用python实现SVM分类,内容详细原创 2020-06-08 23:15:23 · 17353 阅读 · 5 评论 -
机器学习——支持向量机SVMpython实现
一、SVM理论可见以下文章:《机器学习——支持向量机SVM之线性模型》《机器学习——支持向量机SVM之非线性模型低维到高维映射》《机器学习——支持向量机SVM之非线性模型原问题与对偶问题》《机器学习——支持向量机SVM之非线性模型原问题转化为对偶问题》《机器学习——支持向量机SVM之多类问题》1、hard margin(在支持向量之间没有其他的点)2、soft margin(允许有点在支持向量之间,允许容错率)二、scikit-learn中的SVM处理..原创 2020-06-08 14:02:52 · 356 阅读 · 2 评论 -
机器学习——人工神经网络之参数设置(BP算法)
本文·讲了参数设置原创 2020-06-07 22:47:07 · 5459 阅读 · 3 评论 -
机器学习——人工神经网络之后向传播算法(BP算法)
本文主要讲解了BP神经网络算法,包含其本质、推导、以及如何利用BP算法来对神经网络模型中的参数进行求解,也介绍了一些常用的非线性函数(fai函数)原创 2020-06-07 19:16:39 · 2128 阅读 · 1 评论 -
机器学习——人工神经网络之多层神经网络(多层与三层)
目录一、多层神经网络1、多层神经网络数学模型2、数学模型中的非线性函数fai1)非线性函数fai存在的意义2)非线性函数fai具体是什么?3、多层神经网络与单层神经网络的区别与改进1)单层神经网络数学模型2)多层神经网络模型3)区别二、三层神经网络1、定理2、一些概念(决策面、神经元、神经网络层数)1)决策面2)神经元3)神经网络层数n3、常见的三层神经网络模型(含w,b的参数设置)1)一个三角形决策面的神经网络模型(两层神经网络)2)原创 2020-06-07 11:47:52 · 16375 阅读 · 3 评论 -
机器学习——人工神经网络之发展历史(神经元数学模型、感知器算法)
一、神经元的数学模型 二、感知器算法(SVM算法前身)1、目的2、流程>>>问题1:下图w和b的调整是什么意思?3、算法的有效性验证1)原算法2)增广矩阵3)修改后的算法4)感知器算法的收敛定理三、 人工智能的寒冬——感知器算法的局限性原创 2020-06-06 20:16:39 · 1566 阅读 · 0 评论 -
七桥问题
怎么不重复地走完连接两座岛和陆地的七座桥?简化为以下:答案是不能走完的。奇点:这个点有奇数条线汇聚于此偶点:这个点有奇数条线汇聚于此七桥问题——一笔画问题若一个图形全部是偶点或者只有2个奇点(没有偶点)则可以进行一笔画,否则不能进行一笔画,最少可以通过奇点数除以2步来绘制完成这图形...原创 2020-06-06 17:25:52 · 4377 阅读 · 0 评论 -
机器学习——支持向量机SVM之多分类问题
目录方法1:改造目标函数与限制条件方法2:一类对其他类(类数为N,需要建立N个SVM模型)情形1:多个SVM模型结果交集得出确切归类情形2:多个SVM模型结果交集没有得出确切归类方法3:一类对一类(类数为N,需要建立SVM模型为N*(N-1)/2个)原创 2020-06-06 16:01:22 · 3977 阅读 · 0 评论 -
机器学习——支持向量机SVM实例(兵王问题,SVM求解步骤以及思路,不求解不编程)
机器学习理论——支持向量机SVM实例(兵王问题,只是通过实例来捋一下思路不提供代码)原创 2020-06-06 13:00:39 · 6613 阅读 · 2 评论 -
机器学习——常用核函数
原创 2020-06-05 20:40:40 · 1122 阅读 · 0 评论 -
机器学习——支持向量机SVM之非线性模型(原问题转化为对偶问题)
目录一、复习(原问题、对偶问题、KKT条件、凸函数)二、将最优化问题标准化为原问题(严格转化为标准形式)1、原最优化问题2、标准化后的问题三、转化为对偶问题(注意变量的对应关系)四、对对偶问题的目标函数进行简化(利用L函数的偏导)1、L函数2、对L函数各待定系数求偏导1)向量求导2)L函数求偏导3、对偶问题目标函数简化(将fai用核函数K替换)1)由后面两个偏导等式可以将L化简为:2)再通过第一个偏导等式进一步化简:3)L函数最终简化形式——对偶问题的原创 2020-06-05 18:31:26 · 2177 阅读 · 0 评论 -
机器学习——支持向量机SVM之非线性模型(原问题和对偶问题)
一、原问题(prime problem)二、原问题的对偶问题(dual problem)1、定义一个辅助函数2、定义对偶问题>>>问题1:上面说到遍历w,那w的取值范围和取值步长是怎样的?即遍历的w从何处求得?3、原问题与对偶问题解的关系(一个定理)4、原问题与对偶问题的间距G——Duality gap(定义)5、强对偶定理(G=0的特定情况)6、KKT条件(由强对偶定理反推出的条件)原创 2020-06-05 12:17:40 · 1857 阅读 · 0 评论 -
机器学习——支持向量机SVM之非线性模型(低维到高维映射)
一、非线性模型的最优化问题1、非线性模型最优化模型2、两个概念1)正则项(regularization term)2)调参参数2、高维映射1)定义及作用2)高维映射后的最优化模型3)异或问题(例子)4)如何定义映射?(寻找确定映射关系——核函数的确定)核函数与高维映射的关系:常用核函数:核函数K可以拆写成高维映射的内积的条件:原创 2020-06-05 11:25:58 · 6001 阅读 · 0 评论 -
机器学习——支持向量机SVM之线性模型
一、没有免费的午餐定理二、支持向量机SVM(support vector machine)1、线性模型和非线性模型2、如何在线性模型中画出一条直线(优化过程——vplink)1)多少条?2)如何画出最好的直线?3、如何去描述这个优化的过程(数学描述)1)几个重要的名词(间隔、支持向量)2)一些定义(训练数据、标签、超平面等)3)机器学习的任务与步骤三、支持向量机的优化问题1、优化问题(怎么将问题转化为最优化问题?)2、转化为最优化问题的过程?1)由支持向量原创 2020-06-04 22:48:27 · 3180 阅读 · 1 评论 -
机器学习python——python基础
目录1、常用库2、shape与reshape,dtype3、range、arange、linspace、logspace4、数组的计算、切片5、绘图基本设置6.三维绘图原创 2020-06-04 15:03:18 · 312 阅读 · 0 评论 -
python——shape 与reshape
转载自:https://blog.csdn.net/u010916338/article/details/84066369shape()和reshape()都是数组array中的方法 shape() import numpy as np a = np.array([1,2,3,4,5,6,7,8]) #一维数组 print(a.shape[0]) #值为8,因为有8个数据 print(a.shape[1]) #IndexError: t...原创 2020-06-04 10:51:56 · 656 阅读 · 1 评论 -
paddle模块的详细介绍
https://blog.csdn.net/hua111hua/article/details/89415396原创 2020-03-22 21:33:54 · 4066 阅读 · 0 评论 -
学习笔记02:直播串讲02
1.基于模型的学习 根据以往的学习经验,建立起输入输出的模型,然后预测输入,并且将输入带入到模型中,进而预测出输出的结果,这种学习称为基于模型的学习2.机器学习的过程1)数据收集:通过爬虫、设备采集等方式进行数据的采集2)数据清洗:对数据进行规范化,误差大、无意义的数据我们得删除3)选择模型:建立解决问题的算法4)训练模型:将建立的模型进行训练,使其达到最优5)...原创 2020-03-22 21:38:15 · 154 阅读 · 0 评论 -
学习笔记01:1.1 基于概率的信任
基于概率的信任大数定律:当样本数量越来越多时,预测事件也就越来越接近于真实的事件,事件出现的频率无穷地接近事件发生的概率 建模检验:人工规则->学习模型,数据少则重视先验,数据多则重视后验 给予概率的信任(PAC):如小球的概率问题,不会通过抓一把小球的概率来判断整体的概率,而是说成真实概率以90%的可能在65%-75%之间 统计学:统计数据越大,结论越发置信...原创 2020-03-18 21:47:31 · 118 阅读 · 0 评论