人工智能与机器学习学习笔记（四）

最新推荐文章于 2024-08-29 19:30:55 发布
最新推荐文章于 2024-08-29 19:30:55 发布
阅读量157 收藏 1
点赞数
分类专栏： 人工智能与机器学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TopLuther/article/details/115448713
版权

文章目录

一、Python矩阵基本运算

1.1 Python中的矩阵基本操作

导入numpy包，用 mat() 函数创建一个2*3的矩阵 a

import numpy as np
a=np.mat([[1,2,3],[4,5,6]])
a

结果
在这里插入图片描述

用 a.shape 获取矩阵大小
在这里插入图片描述

用 a.T 转置该矩阵
在这里插入图片描述

用 a.transpose 行列转换
在这里插入图片描述

用二维数组 b 代替矩阵 a b=np.array([[1,2,1],[4,5,6]])
在这里插入图片描述

加法运算
在这里插入图片描述

1.2 Python中的矩阵乘法

创建二维数组矩阵

a=np.array([[1,2,1],[4,5,6]])
b=np.array([[1,2],[3,4],[5,6]])

在这里插入图片描述

用普通 * 符号进行矩阵数乘

2*a
2*b

在这里插入图片描述

用 dot() 行数进行矩阵相乘

np.dot(a,b)
np.dot(b,a)

在这里插入图片描述

使用三个矩阵验证：矩阵相乘结合律 (ab)c=a(bc)

a=np.array([[1,2,1],[4,5,6]])
b=np.array([[1,2],[3,4],[5,6]])
c=np.array([[1,2],[1,3]])
np.dot(np.dot(a,b),c)
#np.dot(a,np.dot(b,c))

在这里插入图片描述

用以上三个矩阵验证：矩阵加法分配律 (a+b)c=ac+bc 和 c(a+b)=ca+cb

a=np.array([[1,2,1],[4,5,6]])
b=np.array([[1,2],[3,4],[5,6]])
c=np.array([[1,2],[1,3]])
d=b-1
np.dot(a,b+d)
#np.dot(a,b)+np.dot(a,d)

在这里插入图片描述

矩阵的相乘和数乘结合

a=np.array([[1,2,1],[4,5,6]])
b=np.array([[1,2],[3,4],[5,6]])
2*(np.dot(a,b))
#np.dot(a,2*b)
#np.dot(2*a,b)
#np.dot(a,2*b)

在这里插入图片描述

用eye(n)函数创建单位矩阵，n为矩阵行列

I=np.eye(3)
I

在这里插入图片描述

验证单位矩阵性质

np.dot(a,I)

验证转置性质(A’)’=A
在这里插入图片描述
验证转置性质(A±B)’=A’±B’
在这里插入图片描述
验证转置性质(nA)’=nA’
在这里插入图片描述
验证转置性质(A×B)’=B’×A’
在这里插入图片描述

1.3 Python中求方阵的迹

新建一个方阵

E=np.array([[1,2,3],[4,5,6],[7,8,9]])
E

在这里插入图片描述
用 trace 计算方阵的迹

np.trace(E)

验证方阵的迹 = 方阵的转置的迹
在这里插入图片描述

验证交换方阵的乘积的迹相等，随便得另一个方阵F
在这里插入图片描述

在这里插入图片描述
验证方阵的和的迹 = 方阵的迹的和

1.4 Python方阵的行列式计算方法

用linalg.det() 函数求方阵 E 、方阵 F 的行列式运算结果
在这里插入图片描述
验证 linalg.det() 函数
在这里插入图片描述

1.5 Python求逆矩阵和伴随矩阵

新建一个矩阵A
在这里插入图片描述
用 linalg.det() 求得方阵的行列式
在这里插入图片描述
用 linalg.inv(A) 求A的逆矩阵
在这里插入图片描述
利用公式法计算结果
在这里插入图片描述

1.6 Python求多元一次方程

根据线性代数知识
未知数的系数排列成矩阵 a
在这里插入图片描述

常数项构成一维数组
在这里插入图片描述
用 linalg.solve(a,b) 方法即可解出方程组
在这里插入图片描述

二、梯度下降法基础

2.1 简介

微分
是指函数在某一点处（趋近于无穷小）的变化量，是一种变化的量。

梯度
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

梯度下降法
梯度下降法是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索

2.2 手动求解

例：求解以下函数的极小值点
在这里插入图片描述

在这里插入图片描述

2.3 用Excel求解

对z = 2(x - 1)^2 + y^2求解近似根
设置 xi、yi 的初始值为(2, 1)

公式如下
ðz/ðx=4 * (x - 1)
ðz/ðy=2 * y
Δx=ŋ * (ðz / ðx)
Δy=ŋ * (ðz / ðy)
z=2(x - 1)2 + y2

结果
在这里插入图片描述

三、Python梯度下降法求解线性回归

3.1 最小二乘法

import numpy as np
from scipy.optimize import leastsq
from sklearn import linear_model

#可以调用sklearn中的linear_model模块进行线性回归
import seaborn as sns

# 定义数据集的大小 即20个数据点
m = 20

# x的坐标以及对应的矩阵
X0 = ones((m, 1))  # 生成一个m行1列的向量，其值全是1
X1 = arange(1, m+1).reshape(m, 1)  # 生成一个m行1列的向量，也就是x1，从1到m
X = hstack((X0, X1))  # 按照列堆叠形成数组，其实就是样本数据

# 对应的y坐标
Y = np.array([3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,11, 13, 13, 16, 17, 18, 17, 19, 21]).reshape(m, 1)

#进行线性回归的求解
model = linear_model.LinearRegression()
model.fit(X1,Y) 
print("斜率=",model.coef_[0])
print("截距为=",model.intercept_)

# 根据数据画出对应的图像
def plot(X, Y, theta):
    ax = plt.subplot(111)  # 将画布分为1行1列，取第一个
    ax.scatter(X, Y, s=30, c="blue", marker="s")
    plt.xlabel("X")
    plt.ylabel("Y")
    x = arange(0, 21, 0.2)  # x的范围
    y =  model.intercept_+ model.coef_[0]*x
    ax.plot(x, y)
    plt.show()

plot(X1, Y, model.coef_[0])

在这里插入图片描述

3.2 梯度下降法

import numpy as np
from numpy import *

# 定义数据集的大小 即20个数据点
m = 20

# x的坐标以及对应的矩阵
X0 = ones((m, 1))  # 生成一个m行1列的向量，其值全是1
X1 = arange(1, m+1).reshape(m, 1)  # 生成一个m行1列的向量，也就是x1，从1到m
X = hstack((X0, X1))  # 按照列堆叠形成数组，其实就是样本数据

# 对应的y坐标
Y = np.array([
    3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
    11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)

# 学习率
alpha = 0.01
import matplotlib.pyplot as plt

#绘制出数据集
plt.scatter(X1,Y,color='red')
plt.show()

# 定义代价函数
#损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数
def cost_function(theta, X, Y):
    diff = dot(X, theta) - Y  # dot() 数组需要像矩阵那样相乘，就需要用到dot()
    return (1/(2*m)) * dot(diff.transpose(), diff)
    
# 定义代价函数对应的梯度函数
def gradient_function(theta, X, Y):
    diff = dot(X, theta) - Y
    return (1/m) * dot(X.transpose(), diff)

# 梯度下降迭代
def gradient_descent(X, Y, alpha):
    #将[1,1]变为2行1列的形式
    theta = array([1, 1]).reshape(2, 1)
    #得到代价函数的初始梯度
    gradient = gradient_function(theta, X, Y)
    #不断迭代的过程
    while not all(abs(gradient) <= 1e-5):
    	#更新迭代公式
        theta = theta - alpha * gradient
        #更新迭代所用的梯度
        gradient = gradient_function(theta, X, Y)
    return theta

#梯度下降最终的结果
optimal = gradient_descent(X, Y, alpha)
print('optimal:', optimal)
print('cost function:', cost_function(optimal, X, Y)[0][0])

# 根据数据画出对应的图像
def plot(X, Y, theta):
    ax = plt.subplot(111)  # 将画布分为1行1列，取第一个
    ax.scatter(X, Y, s=30, c="red", marker="s")
    plt.xlabel("X")
    plt.ylabel("Y")
    x = arange(0, 21, 0.2)  # x的范围
    y = theta[0] + theta[1]*x
    ax.plot(x, y)
    plt.show()

plot(X1, Y, optimal)

在这里插入图片描述

且听风吟☆
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[机器学习]浅谈人工智能--笔记
小白
11-10 1237
浅谈人工智能：现状、任务、构架与统一 | 正本清源 2017-11-02 朱松纯（说明： 老板极力推荐我们阅读这篇综述性的文章，朱老师写的妙趣横生，几个触动点记录如下）1.人工智能学科，归纳为六个，当成战国七雄，把其中2雄合并成（5）： （1）计算机视觉（暂且把模式识别，图像处理等问题归入其中）、 （2）自然语言理解与交流（暂且把语音识别、合成归入其中，包括对话）、 （3）认知与推理（包含各种物理...
《机器学习》笔记（三）
weixin_44001794的博客
03-12 160
线性回归 回归和分类的区别在于要预测的⽬标函数是连续值。 线性回归定义 可以使⽤最⼩⼆乘法（least square method）对向量形式中的参数w和b估计 w和b的最⼩⼆乘法估计 最⼩⼆乘法就是基于及预测值和真实值的均⽅差最⼩化的⽅法来估计参数值 线性模型的优点 形式简单、易于建模 可解释性 非线性模型的基础 ⼴义线性回归 只要学到w和b，模型就可以确定。对于任意的测试样例x，只要...
人工智能与机器学习学习笔记（一）
TopLuther的博客
03-20 222
文章目录一、准备工作二、用“父母子女身高”数据进行线性回归分析 “任务与要求”: 线性回归练习。“父亲高则儿子高，父亲矮则儿子矮”（即父亲与儿子身高相关，且为正相关）、“母高高一窝，父高高一个”（即母亲的身高比父亲的身高对子女的影响更大）的习俗传说是否成立？请在“父母子女身高”数据集（高尔顿数据集）基础上利用线性回归做出科学分析。 选取父子身高数据为X-Y，用Excel计算线性回归方程和相关系数、方差、p值等，判断回归方程是否成立。 现在如果有一个新家庭的数据，已知父亲身高75英寸，请测算儿子的身高为多
【机器学习】梯度下降与矩阵分解
weixin_51781852的博客
01-12 1356
在正式讲解之前，需要提前了解一些预备知识 【预备知识】 偏导数 偏导数虽然和导数只有一字之差，但是却相差甚多，从它们的定义来看，偏导数是指对含有两个自变量的函数中的一个自变量求导，也就是说偏导数要求函数必须具备两个自变量。比如拿 z=f(x,y) 举例，如果只有自变量x变化，而自变量y固定（即看作常量），这时它就是x的一元函数，这函数对x的导数，就称为二元函数z对于x的偏导数，记做 fx(x,y) 。 有如下函数 z = x2+ 3xy + y2，分别求 z 对于 x 、y 的偏导数。如下所示： .
人工智能、机器学习简述
what_how_why2020的博客
03-01 1513
人工智能、机器学习简述 人工智能的简洁定义如下：努力将通常由人类完成的智力任务自动化。 机器学习的技术定义：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。
Paper reading (三十五)：Neural-symbolic machine learning for retrosynthesis and reaction prediction
wxw060709的专栏
10-17 644
论文题目：Neural-symbolic machine learning for retrosynthesis and reaction prediction scholar 引用：99 页数：9 发表时间：2017.01 发表刊物：Chemistry – A European Journal 作者：Marwin H. S. Segler and Mark P. Waller 摘要：...
Numpy中矩阵的基本操作
Sakura_Logic的博客
01-09 2830
Numpy中矩阵的基本操作Numpy矩阵的创建矩阵属性查看及简单应用矩阵的运算随机生成矩阵及矩阵性质的查看矩阵的索引矩阵合并矩阵分割矩阵的的浅拷贝与深拷贝 Numpy python及numpy的一系列安装环境省略… numpy的介绍链接：https://numpy.org 直接代码配着注释操作，都是一些非常基础的操作。 矩阵的创建 # 导入numpy包 import numpy as np # 输...
人工智能 机器学习 （西瓜书）笔记
05-15
资料是我发表文章的pdf版，需要人工智能 机器学习 （西瓜书）笔记的小伙伴们可以自取。 后面我会陆续更新相关章节的笔记 pdf.
吴恩达机器学习笔记-人工智能机器学习算法入门笔记
01-26
机器学习是人工智能的一个分支，它的核心目标是使计算机系统通过学习数据，而不是被显式地编程，来改善其执行任务的能力。机器学习可以分为监督学习、无监督学习和强化学习等主要类型。 【监督学习】 监督学习是...
机器学习人工智能机器学习笔记
02-20
《机器学习人工智能机器学习笔记》是一份深入探讨人工智能与机器学习领域的综合资料，涵盖了这个快速发展领域中的关键概念、算法和应用。这份笔记旨在帮助读者理解机器学习的基本原理，并引导他们进入人工智能的广阔...
周志华《机器学习》学习笔记（大全）
03-06
本文为周志华《机器学习》的学习笔记，记录了本人在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容，向前辈们和知识致敬！
2022吴恩达机器学习笔记汇总(共10章节).zip
12-27
2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip2022吴恩达机器学习笔记汇总(共10章节).zip...
import numpy as np 的基本用法
热门推荐
麦地与诗人
07-05 12万+
Numpy提供了两种基本的对象： ndarray(N-dimensional array object)，存储单一数据类型的多维数组； ufunc(universal function object)，能够对数组进行处理的函数； 数组： 数组是一组相同类型变量的集合。在内存中存放在地址连续的存储单元中。 数组中的每一个成员称为“数组元素”。每一个数组元素都有相同的名称，但用不同的下表来区分...
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 6949
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
python12 中，No module named‘distutils‘错误
qq_43557600的博客
08-27 4589
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 4784
centos7 安装 superset4.0.2 教程
【python】关于判断空值None、判断len()=0，和 if not 的区别
Meggie35的博客
08-28 1223
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
均值漂移算法原理及Python实践
u013571432的博客
08-25 1704
均值漂移算法（Mean Shift Algorithm）是一种基于密度的非参数聚类算法，其原理主要基于核密度估计和梯度上升方法。
爬取长篇小说：选择何种IP策略最佳？
最新发布
KookeeyLena5的博客
08-29 146
在爬取长篇小说时，选择合适的IP策略至关重要。根据目标网站的反爬虫机制、请求频率限制以及爬取需求的不同，可以选择静态IP、动态IP、住宅IP或数据中心IP等不同类型的IP地址。同时，使用代理服务器或VPN等工具可以进一步提高爬取的稳定性和效率。在爬取过程中，应遵循最佳实践，确保爬取行为的合法性和稳定性。
人工智能入门：从机器学习到深度学习笔记
"这是一份关于机器学习和深度学习的学习笔记，适合初学者，内容包括人工智能的基本概念、开发环境的搭建、基础工具包的使用以及Jupyter Notebook的界面优化和编码入门。" 在这份笔记中，作者首先介绍了人工智能的两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值