二分类问题的概率与自变量之间的关系图形往往是一个S型曲线,如图3-8所示,采用sigmoid函数实现,函数形式为:
对于线性边界的情况,边界形式如下:
最佳参数:
构造预测函数为:
sigmoid的函数输出是介于(0,1)之间的,中间值是0.5,公式hθ(x)的含义就很好理解了,因为hθ(x)输出是介于(0,1)之间,也就表明了数据属于某一类别的概率。例如,hθ(x)<0.5则说明当前数据属于A类;hθ(x)>0.5则说明当前数据属于B类。所以可以将sigmoid函数看成样本数据的概率密度函数。函数h(x)的值有特殊的含义,它表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
使用概率论中极大似然估计的方法去求解损失函数:
首先得到概率函数为:
因为样本数据(m个)独立,所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为:
取对数似然函数:
最大似然估计就是要求得使l(θ)取最大值时的θ,这里可以使用梯度上升法求解,求得的θ就是要求的最佳参数:
基于最大似然估计推导得到Cost函数和J函数如下:
θ更新过程可以写成:
正则化后的梯度下降算法θ的更新变为:
代码部分:
使用如下所示数据100条
数据加载
class Logistic_regression():
#初始化
def init(self):
self.xmat = list();
self.ymat = list();
#数据加载处理
def loadData(self,filename):
file = open(filename);
lines = file.readlines();
#print(lineArry);
for line in lines:
lineArry = line.strip().split();# split 用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列
dataline = [1.0];
for i in range(len(lineArry)):
dataline.append(float(lineArry[i]));
#print(“dataline”,dataline);
label = dataline.pop();
self.ymat.append(int(label));#删除最后一个 并返回
self.xmat.append(dataline);
self.xmat = np.mat(self.xmat); # mat()函数 转换为矩阵
self.ymat = np.mat(self.ymat).transpose();
#print(“len”,len(self.xmat));
#print(self.xmat);
sigmoid函数
定义sigmoid函数
def sigmod(self,X):
return 1/(1-np.exp(-X));
梯度下降
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传