吴恩达机器学习课后题-02逻辑回归

最新推荐文章于 2024-08-22 23:54:43 发布
最新推荐文章于 2024-08-22 23:54:43 发布
阅读量226 收藏 3
点赞数 4
分类专栏： 机器学习 文章标签： 机器学习 逻辑回归 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54714615/article/details/141316946
版权

逻辑回归

逻辑回归基本知识点：分类

在这里插入图片描述

在这里插入图片描述

Cost function(代价函数)

在这里插入图片描述

在这里插入图片描述

梯度下降

在这里插入图片描述

题目

线性可分

在这里插入图片描述

散点图

#线性可分
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


data=pd.read_csv("E:/学习/研究生阶段/python-learning/吴恩达机器学习课后作业/code/ex2-logistic regression/ex2data1.txt",names=["Exam1","Exam2","Accepted"])
# print(data)
data.insert(0,"ones",1)
x=data.iloc[:,0:-1]#取数据的0-倒数第二列，取所有行
y=data.iloc[:,-1:]
x=x.values
y=y.values
# print(x,y)
fig,ax=plt.subplots()
ax.scatter(data[data["Accepted"]==0]["Exam1"],data[data["Accepted"]==0]["Exam2"],c="r",marker="x",label="y=0")
ax.scatter(data[data["Accepted"]==1]["Exam1"],data[data["Accepted"]==1]["Exam2"],c="g",marker="o",label="y=1")
ax.legend()
ax.set(xlabel="Exam1",ylabel="Exam2")
plt.show()

在这里插入图片描述

决策边界

在这里插入图片描述

#线性可分
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

"""
原始数据处理函数

"""
def get_x_y(data):
    data.insert(0, "ones", 1)
    x = data.iloc[:, 0:-1]  # 取数据的0-倒数第二列，取所有行
    y = data.iloc[:, -1:]
    x = x.values
    y = y.values
    return x,y
def sigmoid(z):
    return 1/(1+np.exp(-z))

def cost_function(x,y,theta):
    y_=sigmoid(x @ theta)
    return np.sum(-(y*np.log(y_)+(1-y)*np.log(1-y_))/len(x))

"""
定义梯度下降函数
alpha:学习速率
inters:迭代次数
"""
def gradientDescent(x,y,theta,alpha,inters):
    costs = []
    for i in range(inters):
        theta=theta-alpha*x.T @ (sigmoid(x @ theta)-y)/len(x)

        cost=cost_function(x,y,theta)
        costs.append(cost)
        if i%1000==0:
            print(cost)

    return theta,costs


def predict(X,theta):
    prob = sigmoid(X@theta)
    return [1 if x >= 0.5 else 0 for x in prob]






data=pd.read_csv("E:/学习/研究生阶段/python-learning/吴恩达机器学习课后作业/code/ex2-logistic regression/ex2data1.txt",names=["Exam1","Exam2","Accepted"])
# print(data)
x,y=get_x_y(data)
print(x)
theta=np.zeros((x.shape[1],1))#theta初始值x.shape[1] x 1零矩阵
alpha=0.004#学习速率初始化
inters=200000#迭代次数初始化
print(x.shape[1])
"""
预测
"""
theta,costs=gradientDescent(x,y,theta,alpha,inters)
print(theta)
y_ = np.array(predict(x,theta))
y_pre = y_.reshape(len(y_),1)
acc = np.mean(y_pre==y)#acc准确率
print(acc)

fig,ax=plt.subplots()
ax.scatter(data[data["Accepted"]==0]["Exam1"],data[data["Accepted"]==0]["Exam2"],c="r",marker="x",label="y=0")
ax.scatter(data[data["Accepted"]==1]["Exam1"],data[data["Accepted"]==1]["Exam2"],c="g",marker="o",label="y=1")

x_x1=x[:,1].reshape(len(x),1)

y_x2=-(theta[0,0]/theta[2,0])-(theta[1,0]/theta[2,0])*x_x1

ax.plot(x_x1,y_x2,"r",label="jiexian")

ax.legend()
ax.set(xlabel="Exam1",ylabel="Exam2")


plt.show()

在这里插入图片描述

线性不可分

在这里插入图片描述
特征映射
在这里插入图片描述

题目

在这里插入图片描述

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data=pd.read_csv("E:/学习/研究生阶段/python-learning/吴恩达机器学习课后作业/code/ex2-logistic regression/ex2data2.txt",names=["Test1","Test2","Accepted"])

fig,ax=plt.subplots()
ax.scatter(data[data["Accepted"]==0]["Test1"],data[data["Accepted"]==0]["Test2"],c="r",marker="x",label="y=0")
ax.scatter(data[data["Accepted"]==1]["Test1"],data[data["Accepted"]==1]["Test2"],c="g",marker="o",label="y=1")

ax.legend()
ax.set(xlabel="Test1",ylabel="Test2")
plt.show()

在这里插入图片描述

特征映射

def feature_mapping(x1,x2,power):
    data_dirc={}
    for i in np.arange(power + 1):
        for j in np.arange(i + 1):
            data_dirc['F{}{}'.format(i-j, j)] = np.power(x1, i - j) * np.power(x2, j)
    return pd.DataFrame(data_dirc)

代码解释

这段代码定义了一个名为 feature_mapping 的函数，它接收三个参数：x1 和 x2（这两个参数通常是数值型数据，比如两个特征变量），以及 power（一个整数，表示幂次的上限）。函数的目的是根据输入的 x1 和 x2，以及指定的 power，生成一个新的特征映射（feature mapping）数据集，并以 pandas.DataFrame 的形式返回。

在特征映射过程中，函数通过嵌套循环遍历所有可能的幂次组合，其中 i 的范围从 0 到 power（包含），而 j 的范围从 0 到 i（包含）。对于每一对 (i, j)，它计算 x1 的 (i-j) 次幂与 x2 的 j 次幂的乘积，并将这个乘积作为新特征的值。新特征的名称由 'F{}{}' 格式化字符串生成，其中第一个 {} 填入 (i-j)，第二个 {} 填入 j。

然而，代码中存在一个潜在的问题：它没有导入 numpy 和 pandas 库，这两个库在代码中被使用。为了使代码正常工作，你需要在代码的开始处添加以下导入语句：

python
import numpy as np  
import pandas as pd
完整的函数代码应该如下所示：

python
import numpy as np  
import pandas as pd  
  
def feature_mapping(x1, x2, power):  
    data_dirc = {}  
    for i in np.arange(power + 1):  
        for j in np.arange(i + 1):  
            data_dirc['F{}{}'.format(i-j, j)] = np.power(x1, i - j) * np.power(x2, j)  
    return pd.DataFrame(data_dirc)  
  
# 示例用法  
x1 = 2  
x2 = 3  
power = 2  
result = feature_mapping(x1, x2, power)  
print(result)
这个示例中，x1 设置为 2，x2 设置为 3，power 设置为 2。因此，函数会生成包含以下特征的数据框：

F00（x1^0 * x2^0）
F10（x1^1 * x2^0）
F11（x1^1 * x2^1）
F20（x1^2 * x2^0）
F21（x1^2 * x2^1）
这些特征对应于 x1 和 x2 的不同幂次组合，可用于机器学习模型中以增加模型的非线性。

代价函数（损失函数）

在这里插入图片描述

def sigmoid(z):
    return 1/(1+np.exp(-z))

def cost_function(x,y,theta,lr):
    y_=sigmoid(x @ theta)

    reg=np.sum(np.power(theta[1:]),2)*(lr/(2*len(x)))#正则化
    return np.sum(-(y*np.log(y_)+(1-y)*np.log(1-y_))/len(x))+reg

梯度下降

在这里插入图片描述


"""
定义梯度下降函数
alpha:学习速率
inters:迭代次数
lamda
"""
def gradientDescent(x,y,theta,alpha,inters,lamda):
    costs = []
    for i in range(inters):

        reg = theta[1:] * (lamda / len(x))  #
        reg = np.insert(reg, 0, values=0, axis=0) #在第一个元素前插入0，为了与后面维数匹配
        theta=theta-alpha*x.T @ (sigmoid(x @ theta)-y)/len(x)


        cost=cost_function(x,y,theta,lamda)
        costs.append(cost)
        # if i%1000==0:
        #     print(cost)

    return theta,costs
"""
准确率预测
"""
def predict(X,theta):
    prob = sigmoid(X@theta)
    return [1 if x >= 0.5 else 0 for x in prob]

结果

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


"""
原始数据处理函数

"""
def get_x_y(data):
    data.insert(0, "ones", 1)
    x = data.iloc[:, 0:-1]  # 取数据的0-倒数第二列，取所有行
    y = data.iloc[:, -1:]
    x = x.values
    y = y.values
    return x,y


"""
特征映射

"""
def feature_mapping(x1,x2,power):
    data_dirc={}
    for i in np.arange(power + 1):
        for j in np.arange(i + 1):
            data_dirc['F{}{}'.format(i-j, j)] = np.power(x1, i - j) * np.power(x2, j)
    return pd.DataFrame(data_dirc)

"""
代价函数
"""
def sigmoid(z):
    return 1/(1+np.exp(-z))

def cost_function(x,y,theta,lamda):
    y_=sigmoid(x @ theta)

    reg=np.sum(np.power(theta[1:],2))*(lamda/(2*len(x)))#正则化
    return np.sum(-(y*np.log(y_)+(1-y)*np.log(1-y_))/len(x))+reg


"""
定义梯度下降函数
alpha:学习速率
inters:迭代次数
lamda
"""
def gradientDescent(x,y,theta,alpha,inters,lamda):
    costs = []
    for i in range(inters):

        reg = theta[1:] * (lamda / len(x))  #
        reg = np.insert(reg, 0, values=0, axis=0) #在第一个元素前插入0，为了与后面维数匹配
        theta=theta-alpha*x.T @ (sigmoid(x @ theta)-y)/len(x)


        cost=cost_function(x,y,theta,lamda)
        costs.append(cost)
        # if i%1000==0:
        #     print(cost)

    return theta,costs
"""
准确率预测
"""
def predict(X,theta):
    prob = sigmoid(X@theta)
    return [1 if x >= 0.5 else 0 for x in prob]


data=pd.read_csv("E:/学习/研究生阶段/python-learning/吴恩达机器学习课后作业/code/ex2-logistic regression/ex2data2.txt",names=["Test1","Test2","Accepted"])
# # fig,ax=plt.subplots()
# # ax.scatter(data[data["Accepted"]==0]["Test1"],data[data["Accepted"]==0]["Test2"],c="r",marker="x",label="y=0")
# # ax.scatter(data[data["Accepted"]==1]["Test1"],data[data["Accepted"]==1]["Test2"],c="g",marker="o",label="y=1")
# # ax.legend()
# # ax.set(xlabel="Test1",ylabel="Test2")
# # plt.show()
x1=data["Test1"]
x2=data["Test2"]
power=6
data_=feature_mapping(x1,x2,power)
x=data_.values
y = data.iloc[:, -1:].values
theta=np.zeros((x.shape [1],1))#theta初始值x.shape[1] x 1零矩阵
lamda=0.001
alpha=0.001#学习速率初始化
inters=200000#迭代次数初始化
# cost_init=cost_function(x,y,theta, lamda)
# print(cost_init)
theta,costs=gradientDescent(x,y,theta,alpha,inters,lamda)
print(theta)

y_ = np.array(predict(x,theta))
y_pre = y_.reshape(len(y_),1)
acc = np.mean(y_pre==y)#acc准确率
print(acc)

fig,ax=plt.subplots()
ax.scatter(data[data["Accepted"]==0]["Test1"],data[data["Accepted"]==0]["Test2"],c="r",marker="x",label="y=0")
ax.scatter(data[data["Accepted"]==1]["Test1"],data[data["Accepted"]==1]["Test2"],c="g",marker="o",label="y=1")
ax.legend()
ax.set(xlabel="Test1",ylabel="Test2")

x_plot= np.linspace(-1.2,1.2,200)
xx,yy = np.meshgrid(x_plot,x_plot)
z = feature_mapping(xx.ravel(),yy.ravel(),power).values
zz=z @ theta
zz=zz.reshape(xx.shape)
plt.contour(xx,yy,zz,0)

plt.show()

在这里插入图片描述

#include<菜鸡>
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达机器学习课后题-01线性回归
凯的博客
08-18 635
NumPy是Python的一个库，它提供了大量的数学函数工具，特别是针对数组的操作。这个函数接受三个参数：x（特征矩阵），y（目标变量向量），和theta（参数向量，即线性模型的权重和偏置项）。在Python中，这种数据结构是一个嵌套的列表（list of lists），外层列表包含两个元素，每个元素都是一个包含一个浮点数的内层列表。在使用这个函数之前，需要确保 x 包含了偏置项（即一列全为1的列），除非你的 theta 已经被相应地调整过（例如，theta 的第一个元素不代表偏置项）。
吴恩达机器学习课后习题（逻辑回归）
qq_42333474的博客
07-26 1104
一、逻辑回归 逻辑回归主要用于分类问题，有正负值用0与1表示，根据数据集计算出参数向量，并画出决策边界，计算预测值准确率，并用可以对新数据集进行预测。 二、实现逻辑回归 导入数据包，实现逻辑回归时，可以使用梯度下降算法，也可以直接使用高级优化算法（共轭梯度法），更加简便。使用高级优化算法可以自动选择学习率。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import scipy.optimize as opt #
吴恩达机器学习课后习题——逻辑回归
一舟的博客
07-23 840
逻辑回归算法，是一种给分类算法，这个算法的实质是它输出值永远在0到1之间。将要构建一个逻辑回归模型来预测，某个学生是否被大学录取。设想你是大学相关部分的管理者，想通过申请学生两次测试的评分，来决定他们是否被录取。现在你拥有之前申请学生的可以用于训练逻辑回归的训练样本集。对于每一个训练样本，你有他们两次测试的评分和最后是被录取的结果。为了完成这个预测任务，我们准备构建一个可以基于两次测试评分来评估录取可能性的分类模型。​​。...
吴恩达机器学习课后习题（多分类逻辑回归）
qq_42333474的博客
07-28 750
一、多分类逻辑回归 需要构建分类器，每次分类时，将多类分为第i类与非第i类两种类别，再利用逻辑回归的高级优化算法进行计算。 二、实现多分类逻辑回归 导入多个包，使用的数据集为.matlab格式，需要用到loadmat包读取mat文件。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib from scipy.io import loadmat from sklearn.metrics
吴恩达机器学习课后作业源码及笔记_机器学习_吴恩达_
10-01
这份名为“吴恩达机器学习课后作业源码及笔记”的压缩包文件，无疑是针对他开设的机器学习课程的学习辅助资料。这份资料包括了课程中的习题解答以及相关的编程代码，对于正在学习或已经学过吴恩达机器学习课程的人来...
Deep AI 吴恩达深度学习课后检验题-机器学习和神经网络
05-04
在本课程“Deep AI 吴恩达深度学习课后检验题-机器学习和神经网络”中，我们将探讨吴恩达教授讲解的深度学习基础，特别是机器学习和神经网络的概念及其应用。吴恩达，作为全球知名的AI教育家，他的课程深入浅出，...
吴恩达机器学习的习题答案
12-31
《吴恩达机器学习课程习题答案解析》 吴恩达教授的机器学习课程是全球范围内最受欢迎的在线教育课程之一，其深入浅出的教学方式深受广大学习者喜爱。本资源包含的是该课程配套的习题解答，对于正在学习或者已经完成...
吴恩达老师《机器学习》课后习题2之逻辑回归(logistic-regression)
06-14
《机器学习》是吴恩达老师的一门...通过学习吴恩达老师的《机器学习》课程中的逻辑回归部分，并结合ex2data1.txt和ex2data2.txt数据集进行实践，我们可以深入理解逻辑回归的工作原理，以及如何应用于实际的分类问题中。
《机器学习数据标准化》—— 0~1归一化 和 Z标准化
weixin_73504499的博客
08-19 1076
1、为什么要数据标准化、2、常用的两种数据标准、3、注意事项
【机器学习】线性回归
2401_86272648的博客
08-22 674
解释了线性回归的概念、拟合平面的数学表达、最大似然估计和梯度下降法计算最合适的权重参数的过程。
神经网络的数学原理
突然好想你
08-14 484
人工智能技术的发展与成功应用已经成为21世纪科技领域最大的新现象。然而，科学地理解人工智能原理已经超出了现有科学体系的范畴。显然，人工智能是人类科学技术发展的必然结果，人工智能科学也将是人类科学进步与发展必然实现的目标🌈
方差：理解数据的离散程度
weixin_51524504的博客
08-22 534
方差（Variance）是用来度量数据集中各观测值与其平均值之间差异的统计量。方差越大，表示数据点之间的差异越大；反之，方差越小，表示数据点之间的差异越小。
机器学习第五十三周周报 MAG
weixin_44162879的博客
08-22 446
本周阅读了题为Failure Prediction for Large-scale Water Pipe Networks Using GNN and Temporal Failure Series的论文。这项工作开发了基于GNN的管网故障预测框架，整合管网特征、结构、地理及历史故障数据。创新构建图结构，优化GNN性能，引入时序故障学习模块。在双实际管网上验证效果卓越，辅助生成管道维护优先级，分析特征重要性，助力理解失效原因。框架可扩展至大规模基础设施网络，实现资产级故障预测。
机器学习：决策树回归树实现
mohanyelong的博客
08-22 680
机器学习：决策树回归树实现
【IEEE】第五届机器学习与计算机应用国际学术会议（ICMLCA 2024，10月18-20）
ai_1020的博客
08-22 758
IEEE |第五届机器学习与计算机应用国际学术会议 2024 5th International Conference on Machine Learning and Computer Application（ICMLCA 2024）
机器学习——lightGBM（学习整理）
CXDNW的博客
08-22 646
LightGBM 是 微软的 一个团队 在 Github 上开发的一个 开源项目，高性能 的 LightGBM 算法具有分布式 和 可以 快速处理大量数据的 特点。LightGBM 虽然 基于 决策树和 XGBoost 而生，但它 还遵循 其他不同的 策略。XGBoost 使用决策树 对一个 变量进行 拆分，并在 该变量上 探索不同的 切割点（按级别划分的 树生长策略），而LightGBM 则 专注于 按叶子节点 进行拆分，以便 获得更好的 拟合（按叶划分的树生长策略）。
MosaicML-面向生成式AI的机器学习平台
最新发布
Climbman的博客
08-22 609
前段时间，大数据巨头 Databricks 宣布已签署最终协议，将以13亿美元的价格，收购位于旧金山的人工智能初创公司MosaicML。这篇文章来自 MosaicML官方的技术博客，是对 MosaicML 大模型训练平台的一个简单介绍。AIGC领域最大收购：Databricks 13亿美元买下MosaicML，成立仅2年员工60人-36氪MosaicML 平台旨在应对训练 ChatGPT、LaMDA 和 Stable Diffusion 等大模型的挑战。
《机器学习》决策树 C4.5算法、cart算法
qq_64603703的博客
08-22 800
C4.5算法是一种决策树生成算法，它使用信息增益比（gain ratio）来选择最优分裂属性，它是ID3算法的改进版本。C4.5算法的核心思想是选择信息增益比最大的特征作为节点进行划分，以获得最好的分类能力。它使用熵来度量数据集的不确定性，通过计算特征的信息增益来评估特征对分类的贡献程度。信息增益比越大，表示该特征对分类的影响越大。即不考虑标签解结果来只考虑自己本身类别的比例例如：A集合：[1,1,1,2,2,3,3,3,3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值