Coursera吴恩达机器学习(二)——Exercise2-逻辑回归、正则化

最新推荐文章于 2023-12-15 10:08:36 发布

芋圆乌龙茶

最新推荐文章于 2023-12-15 10:08:36 发布

阅读量446

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/qq_37751989/article/details/107762685

版权

这篇博客详细介绍了逻辑回归的实现步骤，包括数据读取、散点图绘制、sigmoid函数定义、代价函数及梯度计算，强调了学习率选择的重要性。博主还对比了不同优化算法在求解θ时的效果，并提供了预测和准确率计算方法。在第二部分，博主探讨了逻辑回归的正则化，涉及特征映射、正则化代价函数和梯度，使用Scipy优化库进行梯度下降，并展示了scikit-learn的应用。

摘要由CSDN通过智能技术生成

一、逻辑回归

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

1.读取数据：

path='H:\Coursera-ML-AndrewNg-Notes\code\ex2-logistic regression\ex2data1.txt'
data=pd.read_csv(path,header=None,names=['Exam 1','Exam 2','Admitted'])
data.head()

部分数据截图：
在这里插入图片描述
2.绘制散点图

positive=data[data['Admitted'].isin(['1'])]
negative=data[data['Admitted'].isin(['0'])]
plt.scatter(positive['Exam 1'],positive['Exam 2'],color='g',marker='o',label='Admitted')
plt.scatter(negative['Exam 1'],negative['Exam 2'],color='r',marker='x',label='No Admitted')
plt.legend()
plt.xlabel('Exam 1')
plt.ylabel('Exam 2')
plt.show()

在这里插入图片描述
3.定义X和y，初始化 $\theta$

data.insert(0,'ones',1)
data.head()

在这里插入图片描述

X=data.iloc[:,0:3]
y=data.iloc[:,3:4]
theta=np.array([0,0,0])
X=X.values
y=y.values.flatten()

4.定义sigmoid函数
$g(z)=\frac{1}{1+e^{-z}}$

def sigmoid(z):
    return 1/(1+np.exp(-z))
nums=np.linspace(-10,10,100)
plt.plot(nums,sigmoid(nums))
plt.show()

在这里插入图片描述
5.定义代价函数
$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}[(-y^{(i)})log(h_{\theta}(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta}(x^{(i)})]$

def Cost(theta,X,y):
    inner=-(y*np.log(sigmoid(X@theta)))-(1-y)*np.log(1-sigmoid(X@theta))
    return np.sum(inner)/len(X)
Cost(theta,X,y)
#结果为：0.6931471805599453