![](https://img-blog.csdnimg.cn/20200618121807583.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
学习一些基础的机器学习算法,包括基础知识和代码
码小花
这个作者很懒,什么都没留下…
展开
-
numpy和pandas
ndarray数据的创建方法1.从python中的列表、元组等类型创建ndarray数组x = np.array(list/tuple)x = np.array(list/tuple,dtype=np.float32)当np.array()不指定dtype时,numpy将根据数据情况关联一个dtype类型。2.使用numpy中函数创建naarray数组,如;array、on...原创 2020-02-07 15:15:29 · 669 阅读 · 0 评论 -
决策树例子与python实现
决策树的划分依据之一是信息增益的大小对于下面这个例子,使用ID3算法,ID3:使用信息增益g(D,A)进行特征选择一个特征的信息增益(或信息增益率,或基尼系数)越大,表明特征对样本的熵的减少能力更强,这个特征使得数据由不确定性到确定性的能力越强下面就以一个经典的打网球的例子来说明如何构建决策树。我们今天是否去打网球(play)主要由天气(outlook)、温度(tempera...原创 2019-07-26 16:50:25 · 4951 阅读 · 1 评论 -
k-means算法python实现
1.k-means算法的思想k-means算法是一种非监督学习方式,没有目标值,是一种聚类算法,因此要把数据划分成k个类别,那么一般k是知道的。那么假设k=3,聚类过程如下:1.随机在数据当中抽取三个样本,当做三个类别的中心点(k1,k2,k3);2.计算其余点(除3个中心点之外的点)到这三个中心点的距离,每一个样本应该有三个距离(a,b,c),然后选出与自己距离最近的中心点作为自...原创 2019-07-19 16:13:35 · 1219 阅读 · 0 评论 -
逻辑回归python实现
对线性函数进行逻辑回归用python实现前面主要是用octave实现了逻辑回归的算法,但是觉得在实际开发过程中用到octave的并不多,因此还是需要学习python,希望能通过这两天的学习把算法流程搞清楚,需要做什么事情。也使用了sklearn这个库,可以直接调用方法实现,因此缺点是不能看到一些算法的实现过程。先介绍一下使用python的基本包的作用:matplotlib帮助画图,nu...原创 2019-07-17 15:51:45 · 649 阅读 · 0 评论 -
logistic回归算法
1.logistic 回归算法logistic回归算法:针对y值是离散值的分类问题,是一种分类算法,用在标签y为离散值0或1的情况下在定义假设函数时,要使用到logistic函数或者说是sigmoid函数,这两个术语的意思是一样的,下图所示假设函数定义:那么有了假设函数以后,我们需要用参数拟合我们的数据,那么假设函数的输出是什么呢,如下所示:比方说我们使用肿瘤分类的例子,...原创 2019-07-09 15:13:09 · 663 阅读 · 0 评论 -
octave的基本操作
octave的基本操作假设现在有两个文件,一个存放了房屋大小和有几个卧室的信息,一个只存放了房屋的大小,并且只有47个数据,那么具体的格式如下:1205 62200 3等等以此类推,那么如何把数据读入octave中呢,那么可以使用如下方式:load 文件名例如load price.dat 或者是load ('price.dat')用who可以显示当前存储的变量,whos显...原创 2019-07-08 15:15:51 · 959 阅读 · 1 评论 -
正规方程
1.正规方程使用正规方程求只需要一步就可以得到的最优值,那么现在假设训练样本集中的m=4,可以得到下面一个表格,在这个表格中,最终我们得到用矩阵x和向量y来计算的方式下面讲了当有m个训练样本时的情况,那么构建X即设计矩阵的方式如下那么,在Octave中用这条语句来实现求最优化即pinv(X'*X)*X'*y,其中X'代表的是X的转置2.该如何选择使用哪个方法,他们的优缺...原创 2019-07-08 10:09:11 · 517 阅读 · 0 评论 -
多元线性回归
多变量线性回归或多元线性回归假设现在不仅有房屋大小,还有卧室的数量、楼层的数量、房子的年龄,那么现在就有了更多可以预测房屋价格的信息有四个特征向量,用n表示特征向量的数目,因此n=4,依然用m表示样本的数量用表示第i个训练样本的输入特征值,因此对应表格中的第二行,在这里是一个四维向量用表示第i个训练样本中第j个特征量的值那么我们新的假设形式及化简方式如下图:1.如何...原创 2019-07-07 12:47:19 · 262 阅读 · 0 评论 -
线性回归和代价函数
1.线性回归算法:监督学习算法的例子这里还是住房价格的例子,假设你有一个朋友有一个1250平方的房子,想要卖掉,那么根据这个模型,可以用一条直线来拟合,告诉他可以卖到220K,这是监督学习的例子,因为每一个例子有一个“正确答案”。现在有一个房价的训练集,我们的工作是从这个数据集中学习如何预测房价,下面要定义一些符号:假设小写字母m表示训练样本的数量,x代表输入变量或特征,y表示输出...原创 2019-07-06 13:58:33 · 1900 阅读 · 0 评论 -
初识机器学习
1.首先讲述了什么是机器学习,机器学习的定义。吴恩达教授指出Arthur Samue在1959年将机器学习定义为:在没有明确设置的情况下使计算机具有学习能力的研究领域,他编写了一个跳棋游戏程序,可以让机器与人不断下棋从中得到经验,最后他的棋艺变得越来越好。接着后来Tom Mitchell在1998年将机器学习重新定义为:一个适当的学习问题定义如下:计算机程序从经验E中学习解...原创 2019-07-06 11:09:55 · 177 阅读 · 0 评论 -
梯度下降法与线性回归算法
梯度下降法 可以最小化代价函数J,也可以最小化其他函数给定0,1的初始值,通常都初始化为0,然后同时改变两个参数的值,公式是: a称为学习率,用来控制梯度下降时,我们迈出多大的步子,如果a值很大,那么梯度下降就很迅速其中左边的是正确的计算步骤;而右边的是错误的,因为没有做到同步更新,在计算temp1时使用了新的参数值0a称为学习速率,它在控制我们以多大的速率改变两...原创 2019-07-06 15:53:39 · 306 阅读 · 0 评论 -
线性回归 实现
本文主要是学习了Dive-into-DL-PyTorch这本书。因此这篇博客的大部分内容来源于此书。框架使用的是pytorch,开发工具是jupyter,下面是具体实现过程。1.导入开发过程中需要的包%matplotlib inlineimport torchfrom IPython import displayfrom matplotlib import pyplot as pl...原创 2019-11-14 18:15:54 · 522 阅读 · 0 评论 -
softmax 实现
本文主要是学习了Dive-into-DL-PyTorch这本书。因此这篇博客的大部分内容来源于此书。框架使用的是pytorch,开发工具是jupyter,下面是具体实现过程。1.导入包import torchimport torchvisionimport numpy as npimport syssys.path.append("..") # 为了导入上层目录的d2lzh_py...原创 2019-11-15 10:04:21 · 867 阅读 · 0 评论 -
多层感知机实现
前面利用了softmax来对图像进行分类,也可以使用多层感知机的方法对图像进行分类。多层感知机从零开始实现方法多层感知机(multilayer perceptron,MLP),在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。对于图中的感知机来说,它含有一个隐藏层,该层中有5个隐藏单元。输入和输出个数分别为4和3,中间的隐藏层中包含了5个隐藏单元。...原创 2019-11-15 16:39:46 · 1491 阅读 · 0 评论