逻辑回归二分类算法python_监督学习——logistic进行二分类（python）

线性回归及sgd/bgd的介绍：

训练数据形式： （第一列代表x1，第二列代表 x2，第三列代表 数据标签 用 0/1表示）

训练函数形式： y = sigmod（w0+w1*x1+w2*x2）

通过训练函数就能够得到参数列向量θ([θ0,θ1,…θn]^T)，当输入样本列向量x([x0,x1,…,xn])，那么我们对样本x分类就可以通过上述公式计算出一个概率，如果这个概率大于0.5，我们就可以说样本是正样本，否则样本是负样本。

利用训练函数进行分类： 输入如果(x1,x2)，利用训练函数得到 y值，如果y>0.5 返回1 ，否则返回 0。

1. Sigmoid 函数

为了将连续的数值转化为 二进制的0/1，机器学习中一般引入Sigmoid函数，该函数的形式如下：

对应的函数图像：

可以看出它的两个极值就是 0 /1 所以可以很好的将连续之映射为二分类。

Sigmoid函数有一个很棒的特点是它的导数 f′(x) = f(x)(1−f(x))

那么如何通过训练数据得到目标sigmoid函数（训练函数计算过程原理）

2. sigmoid函数+logigstic 解决二分类问题

通过上图中的数据源计算目标函数，并通过目标函数对未知数据进行二分类

数据加载：

def loadDataSet():

dataMat = []; labelMat = []

fr = open('testSet.txt')

for line in fr.readlines():

lineArr = line.strip().split()

dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])

labelMat.append(int(lineArr[2]))

return dataMat,labelMat

批梯度上升算法

def sigmoid(inX):

return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn, classLabels):

# 输入训练数据

dataMatrix = mat(dataMatIn) #convert to NumPy matrix

# 输入训练数据的标签（0 / 1）

labelMat = mat(classLabels).transpose() #convert to NumPy matrix

m,n = shape(dataMatrix)

# 训练步长 （越大则收敛的速度）

alpha = 0.001

# 最大迭代次数

maxCycles = 500

# 训练函数的系数（为需要求解的结果）

weights = ones((n,1))

for k in range(maxCycles): #heavy on matrix operations

h = sigmoid(dataMatrix*weights) #matrix mult

error = (labelMat - h) #vector subtraction

# 梯度上升算法的 迭代 算法

weights = weights + alpha * dataMatrix.transpose()* error #matrix mult

return weights

随机梯度上升算法

由于批梯度算法每次迭代都需要将所有的训练数据进行计算，所以它的运行效率并不高。

而随机梯度上升算法每次迭代只是将一个训练数据进行迭代所以效率很高。

它们的数据源是一样的。

def stocGradAscent0(dataMatrix, classLabels):

m,n = shape(dataMatrix)

alpha = 0.01

weights = ones(n) #initialize to all ones

for i in range(m):

#每次迭代只需要一个训练数据

h = sigmoid(sum(dataMatrix[i]*weights))

error = classLabels[i] - h

weights = weights + alpha * error * dataMatrix[i]

return weights

参考:

《机器学习实战》

Logistic回归二分类Winner or Losser----台大李宏毅机器学习作业二(HW2)

一.作业说明 给定训练集spam_train.csv,要求根据每个ID各种属性值来判断该ID对应角色是Winner还是Losser(0.1分类). 训练集介绍: (1)CSV文件,大小为4000行X5 ...

逻辑回归（Logistic Regression）二分类原理及python实现

本文目录: 1. sigmoid function (logistic function) 2. 逻辑回归二分类模型 3. 神经网络做二分类问题 4. python实现神经网络做二分类问题 1. si ...

【原】Spark之机器学习(Python版)(二)——分类

写这个系列是因为最近公司在搞技术分享,学习Spark,我的任务是讲PySpark的应用,因为我主要用Python,结合Spark,就讲PySpark了.然而我在学习的过程中发现,PySpark很鸡肋( ...

二分类模型之logistic

liner classifiers 逻辑回归用在2分类问题上居多.它是一个非线性的回归模型,其最大的好处恰恰是可以解决二元类问题,目前在金融行业,基本都是使用Logistic回归来预判一个用户是否为好 ...

二分类Logistic回归模型

Logistic回归属于概率型的非线性回归,分为二分类和多分类的回归模型.这里只讲二分类. 对于二分类的Logistic回归,因变量y只有“是.否”两个取值,记为1和0.这种值为0/1的二值品质型变量 ...

matlab-逻辑回归二分类（Logistic Regression）

逻辑回归二分类 今天尝试写了一下逻辑回归分类,把代码分享给大家,至于原理的的话请戳这里 https://blog.csdn.net/laobai1015/article/details/7811321 ...

Python深度学习案例1--电影评论分类(二分类问题)

我觉得把课本上的案例先自己抄一遍,然后将书看一遍.最后再写一篇博客记录自己所学过程的感悟.虽然与课本有很多相似之处.但自己写一遍感悟会更深 电影评论分类(二分类问题) 本节使用的是IMDB数据集,使用 ...

Python深度学习读书笔记-6.二分类问题

电影评论分类:二分类问题   加载 IMDB 数据集 from keras.datasets import imdb (train_data, train_labels), (test_data, t ...

随机推荐

将十六进制色值转换成Color

在给Background赋值时,除了自带的Red,Blue,Black等,可以通过以下方法赋予其他颜色. 主要是将Hex转换成ARGB(A:alpha,表示透明度.R:Red.G:Green.B:Bl ...

原生js tab 栏切换

按钮1 按钮2...

Reprojection Matrix Q

Given the disparity d and 2D point (x, y) , we can derive the 3D depth using the 4-by-4 reprojection ...

js数据结构与算法存储结构

数据结构(程序设计=数据结构+算法) 数据结构就是关系,没错,就是数据元素相互之间存在的一种或多种特定关系的集合. 传统上,我们把数据结构分为逻辑结构和物理结构. 逻辑结构:是指数据对象中数据元素之间 ...

SQL时间第一期_获取系统年月日时分秒

select GETDATE() as '当前日期',DateName(year,GetDate()) as '年',DateName(month,GetDate()) as '月',DateName ...

苹果教你六招：设计优秀的icon

在iOS 7测试版发布后,网上开始出现大量关于iOS 7设计的资源.在WWDC期间,苹果曾为开发者举办了多场主题演讲,其中有一场是苹果UX布道师Mike Stern的精彩演讲-- 优秀iOS设计最佳实 ...

struts2 之 【struts2简介，struts2开发步骤，struts2详细配置，struts2执行流程】

入门框架学习避免不了的问题: 1. 什么是框架? 简单的说,框架就是模板,模子,模型.就是一个可重用的半成品. 2. 如何学习框架? 学习框架其实就是学习规则,使用框架就是遵循框架的规则,框架是可变的 ...

Vue知识点总结

1.属性名已$开头的都是内部提供的属性 2.为什么使用事件修饰符的原因:methods 只有纯粹的数据逻辑,而不是去处理 DOM 事件细节 3.v-if 如果值为false,元素在页面中不存在:值为t ...

windows下vmware配置nat网络

linux学习需要配置网络,可以选择桥接网络,nat网络地址转换. 由于linux的服务,众多需要配置一个固定的ip,因此可以选择静态ip配置. 因此在这里自定义nat网络地址转换,可以固定一台lin ...

[Linux]Linux下yaf发送IPV4和IPV6的IPfix

一.IPFIX与NetFlow 一.IPFIX 全称IP Flow Information Export,即IP流信息输出,是网络流量监测的国际标准.IPFIX是IETF的一个工作组,它的主要工作就是 ...