吴恩达机器学习课后作业ex1（python实现）

已于 2022-11-01 09:57:14 修改
阅读量1.7k 收藏 29
点赞数 2
文章标签： 机器学习 python 人工智能
于 2022-10-31 18:55:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55037029/article/details/127620509
版权

作业介绍

吴恩达老师的作业资源可以在github或者网上找到 。

ex1主要是对线性回归的一些复习和梯度下降、损失函数等的具体代码实现。

pdf文件是对作业的说明。文件夹则是作业数据的各种格式，python主要用到了txt文件。 

 

单变量线性回归

ex1data1.txt是由两列组成，第一列是城市人口数量，第二列是餐车收益。

 这里我使用python进行初步的文件读入以及画图

import numpy as np
import matplotlib.pyplot as plt

#
data1 = open('ex1data1.txt')
data1 = data1.readlines()
tx = []
ty = []
for i in range(len(data1)):
    tx.append(float(data1[i].split(',')[0]))
    ty.append(float(data1[i].split(',')[1]))

plt.scatter(tx, ty)
plt.show()

通过图像，可以大致看出x与y呈线性相关。

使用梯度下降法进行最佳参数拟合。

 设计python中的损失函数和预测函数

def J_theta(theta, x, y):
    return np.sum(np.power(x * theta - y, 2)) / (2 * len(x))


def h_theta(theta, x):
    return x*theta


# 构造x
x = np.matrix(x).T
theta0 = np.ones(x.shape[0])
x = np.insert(x, 0, theta0, axis=1)
# 构造y
y = np.matrix(y).T

# 初始化
theta = np.zeros((2, 1))
iterations = 1500
alpha = 0.01


print(h_theta(theta, x))
print(J_theta(theta, x, y))

计算出初始损失值为32.07，与ex1文档中给出答案相同。

使用python对梯度下降进行编程。

# 初始化
theta = np.zeros((2, 1))
iterations = 1500
alpha = 0.01

# 梯度下降
for time in range(iterations):  # 迭代次数
    temp = x * theta - y
    for i in range(2):  # 改变theta
        theta[i, 0] -= alpha * np.sum(np.multiply(temp, x[:, i])) / len(x)

print(theta)

lx = np.linspace(5, 25, 100)
ly = [theta[0, 0] + theta[1, 0] * lx[i] for i in range(len(lx))]

plt.scatter(tx, ty)
plt.plot(lx, ly, c='r')
plt.show()

 最后跑出来的参数

 画出直线

可以看出拟合效果还是不错的。

源码：

import numpy as np
import matplotlib.pyplot as plt

#
data1 = open('ex1data1.txt')
data1 = data1.readlines()
tx = []
ty = []
for i in range(len(data1)):
    tx.append(float(data1[i].split(',')[0]))
    ty.append(float(data1[i].split(',')[1]))

plt.scatter(tx, ty)
plt.show()


def J_theta(theta, x, y):
    return np.sum(np.power(x * theta - y, 2)) / (2 * len(x))


def h_theta(theta, x):
    return x*theta


# 构造x
x = np.matrix(tx).T
theta0 = np.ones(x.shape[0])
x = np.insert(x, 0, theta0, axis=1)
# 构造y
y = np.matrix(ty).T

# 初始化
theta = np.zeros((2, 1))
iterations = 1500
alpha = 0.01

# 梯度下降
for time in range(iterations):  # 迭代次数
    temp = x * theta - y
    for i in range(2):  # 改变theta
        theta[i, 0] -= alpha * np.sum(np.multiply(temp, x[:, i])) / len(x)

print(theta)

lx = np.linspace(5, 25, 100)
ly = [theta[0, 0] + theta[1, 0] * lx[i] for i in range(len(lx))]

plt.scatter(tx, ty)
plt.plot(lx, ly, c='r')
plt.show()

多变量线性回归

 ex1data2.txt则存在两个变量，即两个x，一个y。文件记录了波特兰的房价，第一列是房子大小，第二列是卧室个数，第三列是价格。

同样是先经过python预处理，读入数据。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing

#
data2 = open('ex1data2.txt')
data2 = data2.readlines()
tx = []
ty = []
for i in range(len(data2)):
    tx.append([float(data2[i].split(',')[0]), float(data2[i].split(',')[1])])
    ty.append(float(data2[i].split(',')[2]))

ax = plt.subplot(projection='3d')
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
plt.show()

从图从图中可以看出相关性还是很明显的。由于数据之间单位相差过大，这里将数据进行归一化后再进行梯度下降。

# 构造xy
x = np.matrix(tx)
y = np.matrix(ty).T
# 归一化
x_scaler = preprocessing.MinMaxScaler()
x = x_scaler.fit_transform(x)
theta0 = np.ones(x.shape[0])
x = np.insert(x, 0, theta0, axis=1)


def J_theta(theta, x, y):
    return np.sum(np.power(np.dot(x, theta) - y, 2)) / (2 * len(x))


def h_theta(theta, x):
    return np.dot(x, theta)


# 初始化
theta = np.zeros((3, 1))
iterations = 5000
alpha = 0.01

# 梯度下降
for time in range(iterations):  # 迭代次数
    temp = h_theta(theta, x) - y
    for i in range(3):  # 改变theta
        theta[i, 0] -= alpha * np.sum(np.multiply(temp, x[:, i])) / len(x)

print(theta)
print(J_theta(theta, x, y))

lx = []
for i in range(101):
    for j in range(101):
        lx.append([0.01*i, 0.01*j])
lx = np.matrix(lx)

theta0 = np.ones(lx.shape[0])
temp = np.insert(lx, 0, theta0, axis=1)

ly = h_theta(theta, temp)

lx = x_scaler.inverse_transform(lx)

print(lx)
print(ly)

ax = plt.subplot(projection='3d')
ax.view_init(elev=10, azim=120)
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
ax.scatter(lx[:, 0], lx[:, 1], ly, c='r')
plt.show()

最后跑出来的参数和损失值，这里我认为没有拟合到最优。

结果如图，效果还是不错的。

 

 源码：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import preprocessing


#
data2 = open('ex1data2.txt')
data2 = data2.readlines()
tx = []
ty = []
for i in range(len(data2)):
    tx.append([float(data2[i].split(',')[0]), float(data2[i].split(',')[1])])
    ty.append(float(data2[i].split(',')[2]))

ax = plt.subplot(projection='3d')
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
plt.show()

# 构造xy
x = np.matrix(tx)
y = np.matrix(ty).T
# 归一化
x_scaler = preprocessing.MinMaxScaler()
x = x_scaler.fit_transform(x)
theta0 = np.ones(x.shape[0])
x = np.insert(x, 0, theta0, axis=1)


def J_theta(theta, x, y):
    return np.sum(np.power(np.dot(x, theta) - y, 2)) / (2 * len(x))


def h_theta(theta, x):
    return np.dot(x, theta)


# 初始化
theta = np.zeros((3, 1))
iterations = 5000
alpha = 0.01

# 梯度下降
for time in range(iterations):  # 迭代次数
    temp = h_theta(theta, x) - y
    for i in range(3):  # 改变theta
        theta[i, 0] -= alpha * np.sum(np.multiply(temp, x[:, i])) / len(x)

print(theta)
print(J_theta(theta, x, y))

lx = []
for i in range(101):
    for j in range(101):
        lx.append([0.01*i, 0.01*j])
lx = np.matrix(lx)

theta0 = np.ones(lx.shape[0])
temp = np.insert(lx, 0, theta0, axis=1)

ly = h_theta(theta, temp)

lx = x_scaler.inverse_transform(lx)

print(lx)
print(ly)

ax = plt.subplot(projection='3d')
ax.view_init(elev=10, azim=120)
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
ax.scatter(lx[:, 0], lx[:, 1], ly, c='r')
plt.show()

单变量线性回归sklearn实现

还是一样的数据集，直接调用现成的库函数。

直接看拟合效果。

拟合的非常不错，并且代码量还少。

源码：

from sklearn import linear_model
import matplotlib.pyplot as plt
import numpy as np

#
data1 = open('ex1data1.txt')
data1 = data1.readlines()
tx = []
ty = []
for i in range(len(data1)):
    tx.append(float(data1[i].split(',')[0]))
    ty.append(float(data1[i].split(',')[1]))

plt.scatter(tx, ty)
plt.show()
# 构造x
x = np.matrix(tx).T
# 构造y
y = np.matrix(ty).T

LR = linear_model.LinearRegression()
# 用训练集训练模型fit
LR.fit(x, y)
# 预测
lx = np.matrix(np.linspace(5, 25, 100)).T
ly = LR.predict(lx)
print(ly)

plt.scatter(tx, ty)
plt.plot(lx, ly, c='r')
plt.show()

多变量线性回归sklearn实现

回到多变量这个例子，看看用现成的包会不会表现的更好。

 确实是比自己实现的代码更好，拟合的效果很不错，代码量也大大减少了。

源码：

from sklearn import linear_model
import matplotlib.pyplot as plt
import numpy as np
from sklearn import preprocessing

#
data2 = open('ex1data2.txt')
data2 = data2.readlines()
tx = []
ty = []
for i in range(len(data2)):
    tx.append([float(data2[i].split(',')[0]), float(data2[i].split(',')[1])])
    ty.append(float(data2[i].split(',')[2]))

ax = plt.subplot(projection='3d')
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
plt.show()

# 构造xy
x = np.matrix(tx)
y = np.matrix(ty).T
# 归一化
x_scaler = preprocessing.MinMaxScaler()
x = x_scaler.fit_transform(x)

#
LR = linear_model.LinearRegression()
# 用训练集训练模型fit
LR.fit(x, y)

lx = []
for i in range(101):
    for j in range(101):
        lx.append([0.01*i, 0.01*j])
lx = np.matrix(lx)
# 预测
ly = LR.predict(lx)
print(ly)
# 归一化逆变换
lx = x_scaler.inverse_transform(lx)

ax = plt.subplot(projection='3d')
ax.view_init(elev=10, azim=80)
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
ax.scatter(lx[:, 0], lx[:, 1], ly, c='r')
plt.show()

正规方程法

吴恩达老师在课程中还讲到了正规方程法，这种方法在数据量不大时比较好用，而且不需要进行归一化，在这里我对多变量线性回归进行了实现。

拟合效果

可以看出拟合的非常不错，实现起来也比较简单，所以在数据量比较小时，正规方程法也是一种合适的参数拟合的方法。

源码：

import matplotlib.pyplot as plt
import numpy as np
from sklearn import preprocessing

#
data2 = open('ex1data2.txt')
data2 = data2.readlines()
tx = []
ty = []
for i in range(len(data2)):
    tx.append([float(data2[i].split(',')[0]), float(data2[i].split(',')[1])])
    ty.append(float(data2[i].split(',')[2]))

ax = plt.subplot(projection='3d')
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
plt.show()

# 构造xy
x = np.matrix(tx)
x_scaler = preprocessing.MinMaxScaler()
x_scaler.fit(x)
y = np.matrix(ty).T
theta0 = np.ones(x.shape[0])
x = np.insert(x, 0, theta0, axis=1)

# 正规方程法
theta = np.dot(np.dot(np.linalg.inv(np.dot(x.T, x)), x.T), y)
print(theta)

lx = []
for i in range(101):
    for j in range(101):
        lx.append([0.01*i, 0.01*j])
lx = np.matrix(lx)
lx = x_scaler.inverse_transform(lx)
theta0 = np.ones(lx.shape[0])
temp = np.insert(lx, 0, theta0, axis=1)

ly = np.dot(temp, theta)
print(ly)

ax = plt.subplot(projection='3d')
ax.view_init(elev=10, azim=80)
ax.scatter([tx[i][0] for i in range(len(tx))], [tx[i][1] for i in range(len(tx))], [ty[i] for i in range(len(tx))])
ax.scatter(lx[:, 0], lx[:, 1], ly, c='r')
plt.show()

糖醋web排骨
关注
  • 2
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
吴恩达机器学习笔记--ex1(Python实现)
Yuki1127918的博客
11-19 1332
单变量的线性回归(Linear Regression with one variable)# 导入所需要的库# import numpy as np import pandas as pd import matplotlib.pyplot as plt 读取数据# path = 'ex1data1.txt'#路径 data = pd.read_csv(path, header=None, names=['Population','Profit']) #print(data.head())
吴恩达机器学习课后作业源码及笔记_机器学习_吴恩达_
10-01
这份名为“吴恩达机器学习课后作业源码及笔记”的压缩包文件，无疑是针对他开设的机器学习课程的学习辅助资料。这份资料包括了课程中的习题解答以及相关的编程代码，对于正在学习或已经学过吴恩达机器学习课程的人来...
吴恩达机器学习代码
wenchlove的博客
04-15 379
后续内容持续更新
深度学习课后作业+课程笔记（吴恩达）
2301_80038325的博客
06-19 1936
本文参考 csdn以及github博客园。
第01周 吴恩达机器学习课后作业ex1整理-python
MANDYBOOM的博客
08-16 760
第01周 吴恩达机器学习课后作业ex1整理-python
吴恩达机器学习课后作业Python实现 01 Linear Regression
xiaosangtongxue的博客
03-20 830
在本部分的练习中，您将使用一个变量实现线性回归，以预测食品卡车的利润。假设你是一家餐馆的首席执行官，正考虑在不同的城市开设一个新的分店。该连锁店已经在各个城市拥有食品卡车，而且你有来自城市的利润和人口数据。sklearn是一个非常著名的机器学习库，广泛地用于统计分析和机器学习建模等数据科学领域。不同特征的取值范围差别较大，为了使梯度下降更快收敛，对特征进行归一化处理。当作对自己学习的记录，后面还有部分代码不是很懂，欢迎大家一起交流学习~在特征数不那么多的情况下，使用正则方程可以达到跟梯度下降一样的效果。
吴恩达机器学习课后作业
Anterior_condyle的博客
08-13 6268
吴恩达机器学习课后作业
Python机器学习1-吴恩达课后作业-线性回归分析ex1
B_etter_Man的博客
12-26 414
人口、利润分析。
吴恩达深度学习课后作业ex1python实现
weixin_44476337的博客
06-24 127
知识点：单变量线性回归 问题：根据ex1data1.txt中的数据预测小吃店的利润。 import numpy as np import pandas as pd import matplotlib.pyplot as plt 注：numpy支持维度数组与矩阵运算，pandas用于数据分析，matplotlib可视化 # 读取数据 path = 'D:\python\机器学习\code\ex1\data\ex1data1.txt' # header=None 指定原始文件数据没有列索引 data = pd
吴恩达机器学习课后作业Python实现（一）：线性回归
在无人问津的日子里默默努力
07-21 4418
吴恩达机器学习 作业一线性回归python实现，注释详细
吴恩达机器学习课后作业—Python实现ex1（单变量线性回归）
xiaobaidad的博客
02-28 448
机器学习作业—Python实现 吴恩达老师的机器学习视频一直以来备受广大学习机器学习同胞们的青睐h，也是很多学者的入门必学课程。在课程中老师使用的是Matlab/Octave编程，但如今Python已经成为了机器学习最主流的编程语言，因此我想将课程中的作业用Python进行实现，希望对广大初学者能有所帮助。 1.包的导入 在用Python实现单变量线性回归的过程中，需要用到矩阵运算以及绘图工具，因此导入matplotlib.pyplot和numpy包，这里不对其详细介绍，如果有需要可以访问下面的网址： nu
吴恩达机器学习编程作业（matlab及python实现）
11-04
3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 -------- ----------------------------...
吴恩达机器学习课后作业python代码.rar
03-25
"吴恩达机器学习课后作业python代码.rar" 这个标题表明了文件的内容，它是吴恩达（Andrew Ng）教授的机器学习课程相关的课后作业解决方案，采用Python编程语言实现。吴恩达是斯坦福大学的计算机科学教授，也是...
吴恩达机器学习课后作业题目和答案
06-07
机器学习课后作业文档说明和答案解析，配套2014年的视频
机器学习 - 随机森林降方差公式推导
暴力扬
07-24 708
在随机森林算法中，我们通过对数据集进行多次采样（有放回地抽样）并训练多个决策树模型，然后将这些模型的预测结果进行平均来得到最终的预测结果。这样做的一个重要好处是能够降低模型的方差（Variance），从而提高模型的泛化能力。这样，我们就得到了随机森林模型的方差公式，它表示为基模型方差与基模型间协方差的组合。，即随机森林模型的预测结果的方差。个基模型（决策树）的预测结果，是随机森林模型的预测结果，
生成对抗网络（Generative Adversarial Network，简称GAN
m0_70066267的博客
07-24 720
生成对抗网络（GAN）作为一种强大的深度学习模型，通过生成器和判别器的相互对抗进行学习，展示了在多个领域的广泛应用潜力。尽管GAN的训练过程存在不稳定性、评估困难等挑战，但随着研究的深入和技术的不断发展，相信GAN将在更多领域发挥重要作用，推动人工智能技术的进一步发展。未来，随着计算资源的不断提升和模型结构的持续优化，GAN的性能和应用范围将得到进一步提升和拓展。
人工智能与机器学习原理精解【6】
最新发布
基础数学与应用数学
07-24 855
凹凸性定义在国内外确实存在不同，这主要体现在数学领域，特别是在函数的图像描述上。凹函数：如果对于函数f(x)在区间I上的任意两点x1和x2，以及任意λ∈(0,1)，都有fλx11−λx2≤λfx11−λfx2fλx1​1−λx2​≤λfx11−λfx2，则称f(x)是I上的凹函数。直观上看，凹函数的图像在这两点之间的部分总在连接这两点的线段的下方。凸函数：若上述不等式中的“≤”改为“≥”，即fλx11−λx。
机器学习（二十一）：错误分析、创造数据和迁移学习
weixin_45733884的博客
07-23 508
假设交叉验证集一共有500个数据点，模型拟合结果中，有100个数据点有误。错误分析就是，手动地分析这100个错误数据（或随机选择一些错误数据），根据它们的共同属性、共同特征分类，然后根据特征进一步优化模型。
吴恩达机器学习svm课后作业数据
02-07
吴恩达机器学习课程中，支持向量机（SVM）是一个重要的主题，通过这门课程，学生们可以学习到SVM的理论基础和实际应用。 课后作业数据是在课程中为了帮助学生更好地理解SVM而提供的相关数据集，这些数据包含了各种各样的特征和标签，学生们可以利用这些数据来进行SVM模型的训练和测试。 通过这些数据集，学生们可以实际动手操作，掌握SVM的实际应用技能，从而更好地理解课程中所学到的理论知识，并且在实际问题中应用这些知识。 作业数据的使用可以帮助学生们更好地理解SVM算法的优劣势，如何选择合适的核函数以及调整超参数等，同时也锻炼了学生独立解决问题的能力。 总之，吴恩达机器学习课后作业数据是非常有价值的，通过对这些数据的学习和分析，可以帮助学生更好地掌握SVM算法，并且在实际问题中应用机器学习算法解决现实问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值