阿里百度人工智能大神精讲的人工智能视频课程,领取地址:https://www.cniao5.com/course/10239
或欢迎勾搭运营小姐姐(微信 id:BT474849)免费领取63讲精品机器学习入门到实战视频哦~
本文的逻辑回归算法视频、案例源码领取找运营微信:BT474849 免费领哦
一、逻辑回归简介
**1、逻辑回归(Logistic regression)**是一种用于解决二分类(0 or 1)问题的机器学习方法,即该方是一个分类算法。
• 典型应用:
• 图像分类
• 垃圾邮件检测
• 购买商品预测
• …
2、Sigmoid 函数
Sigmoid函数,也称为逻辑函数(Logistic function)
直观理解
• 将任意的输入映射到了[0,1]区间我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换,也就是分类任务。
3、逻辑回归 v.s. 线性回归
都是回归问题
•线性回归的回归目标是(−∞, +∞) •逻辑回归的回归目标是(0, 1),所以常常用作分类
• We will fit a regression function on P(Y=1|X)
linear regression----> logistic regression
4、逻辑回归
对于二分类问题,我们可以:
我们将 f(x,w)看做是可能性(概率),那么我们可以得到:
5、最大似然概率
对于全部N个样本,全部分类正确的概率是
那么我们的目标就是最大化J(w)。
6、对数似然概率
将上式子直接不好优化,那么我们取对数
那么我们的目标就是最大化L(w)
7、最大log似然求解
We could learn w by maximizing the log likelihood using gradient ascent
二、二分类分类器处理多分类问题
一对多(One v.s. other)
一对一(One v.s. One)
二分类扩展到多分类
一对多(One v.s. other) • 区分[cat, dog, bird]
• 二值分类器:clf_bin
• 猫的分类器:
• if_cat = clf_bin((X_cat,Y_cat), (X_ncat,Y_ncat))
• 狗的分类器:
• if_dog = clf_bin((X_dog,Y_dog), (X_ndog,Y_ndog))
• 鸟的分类器:
• if_bird = clf_bin((X_bird, Y_bird), (X_nbird, Y_nbird))
1、一对多(One v.s. other)
一对多(One v.s. other)
分类,输入样本x
使用if_cat, if_dog, if_bird三个分类器进行分类
哪个分类器的值大就是哪一类
二分类扩展到多分类
一对一(One v.s. One) • 区分[cat, dog, bird]
• 二值分类器:clf_bin
• 猫/狗的分类器:catdog_clf = clf_bin(…,…)
• 猫/鸟的分类器:catbird_clf = clf_bin(…,…)
• 狗/鸟的分类器:dogbird_clf = clf_bin(…,…)
一对一(One v.s. One)
分类,输入样本x
使用catdog_clf, catbird_clf, dogbird_clf三个分类器进行分类
然后进行投票,票数多赢,比如两个分类器都投cat,那么就是cat
视频课程、案例源码找运营微信:BT474849 免费领哦