机器学习
本专栏主要介绍机器学习经典算法的理论推导及其实战
daipuweiai
这个作者很懒,什么都没留下…
展开
-
利用Python实现多元伯努利事件的朴素贝叶斯分类器
前言本篇博客所写的算法对应于吴恩达教授的机器学习教程里的多元伯努利事件模型的朴素贝叶斯。多元伯努利事件模型的Python代码#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/9/415:55# @Author : DaiPuWei# E-Mail : 771830171@qq.com#...原创 2018-09-09 11:16:58 · 2233 阅读 · 1 评论 -
斯坦福机器学习笔记(六)——K-Means聚类算法
前言K-Means聚类算法的手写Python代码请移步:利用python实现K-Means聚类算法。同时本篇博客的PDF笔记请移步:。K-Means算法理论在聚类问题中,指定一个训练集{x(1),⋯,x(m)}{x(1),⋯,x(m)}\left\{ {{x}^{\left( 1 \right)}},\cdots ,{{x}^{\left( m \right)}} \right...原创 2019-05-06 13:37:20 · 1156 阅读 · 0 评论 -
利用python实现K-Means聚类算法
K-Means聚类Pyhon核心代码#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/8/2910:38# @Author : DaiPuWei# E-Mail : 771830171@qq.com# @Site : # @File : KMeans.py# @Software: Py...原创 2018-08-29 15:50:58 · 4663 阅读 · 7 评论 -
一种基于层次分析法的改进KNN算法
说明由于是第一次写论文,这篇论文只发表在了本科学校的学报上,在2018年7月12号已经上传知网,在知网网址为:一种基于层次分析法的改进KNN算法 。之前忙于整理机器学习笔记,而忽略这篇论文的整理。前言本篇论文是对KNN算法的做出的改进,在本篇博客里就不介绍KNN算法的相关介绍,若有需要请移步:机器学习实战——KNN分类算法。同时在论文的实验部分,将本文提出的改进算法与2013年10...原创 2018-08-14 15:44:02 · 5966 阅读 · 8 评论 -
斯坦福机器学习笔记(七)——高斯混合模型与EM算法
一 高斯混合模型我们给定一个训练集{x(1),⋯,x(m)}{x(1),⋯,x(m)}\left\{ {{x}^{\left( 1 \right)}},\cdots ,{{x}^{\left( m \right)}} \right\} ,由于是高斯混合模型(Mixtures of Gaussians ,GMM)属于无监督算法,因此训练集中不会出现任何标签。我们希望通过指定联合分布p(x(i...原创 2019-05-06 13:37:36 · 5691 阅读 · 5 评论 -
高斯判别分析(GDA)Python代码
概要本篇博客主要是高斯判别分析(GDA)的Python代码。对于GDA的理论讲解请移步我的另一篇博客:斯坦福机器学习笔记(三)—— 高斯判别分析。GDA Python代码#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/8/812:56# @Author : DaiPuWei# E-Mail...原创 2018-08-08 14:48:40 · 3726 阅读 · 2 评论 -
斯坦福机器学习笔记(三)—— 高斯判别分析
概述前记到目前为止,我们主要讨论了对p(y|x;θ)p(y|x;θ)p\left( y\left| x;\theta \right. \right)建模的学习算法,即给定xxx 的yyy的条件分布。 例如,Logistic回归将p(y|x;θ)p(y|x;θ)p\left( y\left| x;\theta \right. \right) 建模为 hθ(x)= g(θ...原创 2019-06-21 20:33:11 · 1124 阅读 · 0 评论 -
利用Python实现高斯混合模型(GMM)
前言之前将网易公开课上吴恩达机器学习视频中高斯混合模型(GMM)及其EM算法反反复复看了几遍之后并将所有公式重新推导了一遍,现在利用Python进行手写进一步加深理解。关于吴恩达机器学习中相关讲义的整理另行抽时间进行上传博客。Python代码#!/usr/bin/python3# -*- coding: utf-8 -*-# @Time : 2018/7/19 10:...原创 2018-07-20 16:27:09 · 42030 阅读 · 41 评论 -
机器学习(周志华)——神经网络模型(一)
神经元模型神经元模型是是组成神经网络模型的最基本单位。在生物神经网络领域内,神经元之间相互相连,当一个神经元兴奋时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个阈值,那么它就会被激活,即兴奋起来,向其他神经元发送化学物质。1943 年,McCulloch 和 Pitts 将上述生物学中情形抽象为如下图所示的简单模型,这就是一直沿用至今的 M-P 神经...原创 2018-06-08 16:15:00 · 3001 阅读 · 1 评论 -
机器学习(周志华)——神经网络模型(二)
BP算法误差反向传播(Error Back Propagation )算法简称BP算法,该算法在神经网络发展史起着至关重要的作用。虽然神经网络之所以在深度学习和人工智能领域应用如此之广,很大程度上BP算法起到了关键性的引领作用。虽然20世纪40年中后期神经网络方面研究开始兴起,期间神经元模型、感知器的先后提出给神经网络研究带来了巨大的发展。但是受限于当时计算机的计算性能与硬件技术的落后,这让神...原创 2018-06-08 16:19:03 · 1733 阅读 · 2 评论 -
利用BP神经网络对语音特征信号数据集进行分类
最近给学院老师的一篇论文帮忙改进BP神经网络,由于最后要发表论文,神经网络必须自己手写,搞了几个晚上,总算把基础的BP神经网络写出来,接下来再把老师的改进算法实现就ok了。(当然那代码不能公开了)我这里用的是《MATLAB神经网络43个案例分析》这本书中的语音数据集。(PS:神经网络的学习笔记没时间整理,马上蓝桥杯国赛,比赛结束回学校又是课设,这学期为了机器学习专业课也就是上课听听,还要火线复习把不原创 2017-05-21 11:19:01 · 10613 阅读 · 18 评论 -
机器学习(周志华)——决策树
最近由于要写篇小论文而没时间更新博客。这篇决策树的笔记也参照了一些博客才完成的。下面是参照的博客链接:http://www.cnblogs.com/pinard/p/6053344.html http://www.cnblogs.com/pinard/p/6050306.html 本博客也只代表我对决策树的理解,如果有人想转载,请注明:http://blog.csdn.net/qq_300919原创 2017-05-11 17:58:30 · 1909 阅读 · 0 评论 -
机器学习实战——利用Logistic回归预测疝气病症的病马的死亡率
数据来源http://archive.ics.uci.edu/ml/machine-learning-databases/horse-colic处理过程由于该数据集存在30%的缺失,那么首先必须对数据集进行预处理,这里我把缺失值用每列的平均值来代替,同时把数据集没用的几列数据舍弃。之后利用sklearn库进行Logistic回归。代码与数据已经打包上传,如果有需要请移步:Python代码如下:#!/原创 2017-04-23 10:39:17 · 2523 阅读 · 0 评论 -
基于属性值相关距离的KNN算法
该博客的观点来自于中国知网上由肖辉辉和段艳明执笔的论文《基于属性值相关距离的KNN算法的改进研究》。我只是因为最近做项目,老师分配任务研究KNN算法的改进而找到这篇论文,最后把论文中的算法代码。 下面是Python代码:#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2017/3/29 0029 19:15# @Autho原创 2017-03-30 19:22:56 · 2201 阅读 · 0 评论 -
机器学习实战——KNN分类算法
下面是《机器学习实战》中的KNN分类算法的笔记。自我觉得学了一段时间的机器学习,KNN可以说是公式推导最简单,最容易理解的一个算法了。资源已经上传,如果有需要请到如下链接下载:http://download.csdn.net/detail/qq_30091945/9794328 如果需要转载请注明:http://download.csdn.net/detail/qq_30091945原创 2017-03-26 16:46:50 · 1398 阅读 · 0 评论 -
斯坦福机器学习笔记(二)——Logistic回归和广义线性模型
之前一直没时间整理这部分笔记,昨天通宵整理这部分笔记,同步网易公开课机器学习课程第四讲。资源我已经上传了,如果有需要的请转到下面的链接:http://blog.csdn.net/qq_30091945/article/details/60466622。 如果有人要转载请注明:http://blog.csdn.net/qq_30091945原创 2017-03-19 19:12:27 · 1154 阅读 · 0 评论 -
机器学习实战--局部加权线性回归(LWR)
一 概述通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting),比如数据集是 一个钟形的曲线。而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕,因为它导致数据的 过拟合(overfitting),不符合数据真实的模型。局部加权回归(LWR)是非参数学习方法。 首先参数学习方法是这样一种方法:在训练完成所有数据后得到一系列训练参数,然后根据训原创 2017-03-17 19:53:07 · 4709 阅读 · 1 评论 -
斯坦福机器学习笔记(一)——线性回归与局部加权回归
近期把斯坦福的机器学习课程视频翻来覆去的看,通篇阅读英文笔记。总算把线性模型吃的比较透了,现在会陆续的上传笔记。如果想要转载请注明:http://blog.csdn.net/qq_30091945原创 2017-03-12 11:27:23 · 2898 阅读 · 0 评论 -
机器学习实战——Logistic回归
这是《机器学习实战》中的第五章Logistic回归知识的整理以及自己的一些私人理解,之后运用原理对周志华的《机器学习》中的西瓜数据进行分类。(PS:因为上述两本书以及网易公开课上的斯坦福的机器学习视频都在同时看,所以博客可能有点杂。)最后希望给一起学习机器学习的同学一些帮助。资源也已经上传了,名称叫做Logistic回归笔记及代码。链接为:http://download.csdn.net/detai原创 2017-03-04 11:32:53 · 2605 阅读 · 0 评论 -
BP神经网络
利用BP神经网络解决蠓虫分类问题的Python代码如下:# -*- coding: utf-8 -*-"""Created on Tue Jan 17 12:22:53 2017@author: DaiPuWei"""''' 神经网络模型---------BP神经网络,以蠓虫(Af,Apf两种类别)分类为例 利用梯度下降法为例'''import pandas as pdim原创 2017-01-17 17:25:36 · 2649 阅读 · 2 评论