作者:Saniya Parveez, Roberto Iriondo
来源:AI研习社
译者:季一帆
本文完整代码见Github或直接在Google Colab运行测试。本文目录:
- 引言
- 机器学习ML和深度学习NN中的线性代数
- 矩阵
- 向量
- 矩阵乘法
- 转置矩阵
- 逆矩阵
- 正交矩阵
- 对角矩阵
- 正规方程的转置矩阵和逆矩阵
- 线性方程
- 向量范数
- L1范数/Manhattan范数
- L2范数/Euclidean范数
- ML中的正则化
- Lasso
- 岭
- 特征选择与抽取
- 协方差矩阵
- 特征值与特征向量
- 正交性
- 正交集
- 扩张空间
- 基
- 主成分分析(PCA)
- 矩阵分解
- 总结
引言
机器学习和深度学习建立在数学原理和概念之上,因此AI学习者需要了解基本数学原理。在模型构建过程中,我们经常设计各种概念,例如维数灾难、正则化、二进制、多分类、有序回归等。 神经元是深度学习的基本单位,该结构完全基于数学概念,即输入和权重的乘积和。至于Sigmoid,ReLU等等激活函数也依赖于数学原理。 正确理解机器学习和深度学习的概念,掌握以下这些数学领域至关重要:- 线性代数
- 微积分
- 矩阵分解
- 概率论
- 解析几何
机器学习和深度学习中的线性代数
在机器学习中,很多情况下需要向量化处理,为此,掌握线性代数的知识至关重要。对于机器学习中典型的分类或回归问题,通过最小化实际值与预测值差异进行处理,该过程就用到线性代数。通过线性代数可以处理大量数据,可以这么说,“线性代数是数据科学的基本数学。” 在机器学习和深度学习中,我们涉及到线性代数的这些知识:- 向量与矩阵
- 线性方程组
- 向量空间
- 偏差
- 推导回归方程
- 通过线性方程预测目标值
- 支持向量机SVM
- 降维
- 均方差或损失函数
- 正则化
- 协方差矩阵
- 卷积
![79f02980a436331d48246c719f24553b.png](https://img-blog.csdnimg.cn/img_convert/79f02980a436331d48246c719f24553b.png)
矩阵
矩阵是线性代数的重要概念。一个m*n矩阵包含mn个元素,可用于线性方程组或线性映射的计算,也可将其视为一个由m*n个实值元素组成的元组。![8d86f42cd70115c50b4b45a71069a4f2.png](https://img-blog.csdnimg.cn/img_convert/8d86f42cd70115c50b4b45a71069a4f2.png)
向量
在线性代数中,向量是大小为n*1的矩阵,即只有一列。![89a608efd5a1e49e1db99369a4bfa783.png](https://img-blog.csdnimg.cn/img_convert/89a608efd5a1e49e1db99369a4bfa783.png)
矩阵乘法
矩阵乘法是行和列的点积,其中一个矩阵的行与另一个矩阵列相乘并求和。![d078f94937088ccdc8fbbc9cce4dc3b3.png](https://img-blog.csdnimg.cn/img_convert/d078f94937088ccdc8fbbc9cce4dc3b3.png)
![f471fa41d593cea3666411e42a3e92ec.png](https://img-blog.csdnimg.cn/img_convert/f471fa41d593cea3666411e42a3e92ec.png)
![047ef4cfe7844d63bca095d4a347d0a1.png](https://img-blog.csdnimg.cn/img_convert/047ef4cfe7844d63bca095d4a347d0a1.png)
![5ac2692da1939aa4617c7cfb3bc548c5.png](https://img-blog.csdnimg.cn/img_convert/5ac2692da1939aa4617c7cfb3bc548c5.png)
![b341c9e82fc863b9fbde832e21530b94.png](https://img-blog.csdnimg.cn/img_convert/b341c9e82fc863b9fbde832e21530b94.png)
转置矩阵
对于矩阵A∈R^m*n,有矩阵B∈R^n*m满足b_ij = a_ij,称为A的转置,即B=A^T。![04c90b0a44ccdbf1f2ccb9d7abc3e403.png](https://img-blog.csdnimg.cn/img_convert/04c90b0a44ccdbf1f2ccb9d7abc3e403.png)
逆矩阵
对n阶矩阵A,有矩阵B∈R^n*n满足AB =I_n(单位矩阵)= BA的性质,称B为A的逆,表示为A^-1。
![224fc5464c45752087281f22b80b843a.png](https://img-blog.csdnimg.cn/img_convert/224fc5464c45752087281f22b80b843a.png)
![62632135738083346d068bdd76919356.png](https://img-blog.csdnimg.cn/img_convert/62632135738083346d068bdd76919356.png)
![871f751333859eabcc79e55dbcdcce0f.png](https://img-blog.csdnimg.cn/img_convert/871f751333859eabcc79e55dbcdcce0f.png)
正交矩阵
当且仅当矩阵列向量组是单位正交向量组时,n阶矩阵A∈R^n*n是正交矩阵,有:![a7366a0c85653e00ae645cb348a0522c.png](https://img-blog.csdnimg.cn/img_convert/a7366a0c85653e00ae645cb348a0522c.png)
![511d64809fd1eddffa872673c452b32f.png](https://img-blog.csdnimg.cn/img_convert/511d64809fd1eddffa872673c452b32f.png)
![c1805d3ebf4cb191c862f7d33bfe54bd.png](https://img-blog.csdnimg.cn/img_convert/c1805d3ebf4cb191c862f7d33bfe54bd.png)
对角矩阵
在n阶矩阵A∈R^n*n中,除主对角线上的元素,其他所有元素均为零,称其为对角矩阵,即: Aij =0,i != j![ef73a02e361a78ee6fa8bc65399be4a1.png](https://img-blog.csdnimg.cn/img_convert/ef73a02e361a78ee6fa8bc65399be4a1.png)
正规方程的转置矩阵和逆矩阵
正规方程通过计算theta j的导数,将其设为零来最小化J。无需Gradient Descent就可直接得到θ的值,θ见下图。![5f17551605c567a56d35fc117cb1c0cd.png](https://img-blog.csdnimg.cn/img_convert/5f17551605c567a56d35fc117cb1c0cd.png)
![790c4f1d75bc535f0cbd737818486b35.png](https://img-blog.csdnimg.cn/img_convert/790c4f1d75bc535f0cbd737818486b35.png)
import numpy as np Features
x = np.array([[2, 1834, 1],[3, 1534, 2],[2, 962, 3]])# Target or Price
y = [8500, 9600, 258800]
计算x的转置:
# Transpose of x
transpose_x = x.transpose()transpose_x
![7ce421833df419ec26466039e7c2c992.png](https://img-blog.csdnimg.cn/img_convert/7ce421833df419ec26466039e7c2c992.png)
multi_transpose_x_to_x = np.dot(transpose_x, x)
![cad22801de11dbd6db713f3755b8e67c.png](https://img-blog.csdnimg.cn/img_convert/cad22801de11dbd6db713f3755b8e67c.png)
inverse_of_multi_transpose_x_to_x = np.linalg.inv(multi_transpose_x_to_x)
![36143bc8d93fa288e36a45aa6f6e888e.png](https://img-blog.csdnimg.cn/img_convert/36143bc8d93fa288e36a45aa6f6e888e.png)
multiplication_transposed_x_y = np.dot(transpose_x, y)
![9f838d925074bc16c75127ebe3173698.png](https://img-blog.csdnimg.cn/img_convert/9f838d925074bc16c75127ebe3173698.png)
theta = np.dot(inverse_of_multi_transpose_x_to_x, multiplication_transposed_x_y)
![a61e18686087cf8c3dc1ed35762be61a.png](https://img-blog.csdnimg.cn/img_convert/a61e18686087cf8c3dc1ed35762be61a.png)
线性方程
线性方程是线性代数的核心,通过它可以解决许多问题,下图是一条直线方程。![acaa974ed1380ad255daa1ef61bebda6.png](https://img-blog.csdnimg.cn/img_convert/acaa974ed1380ad255daa1ef61bebda6.png)
![0e487ae895c7273ef1778ca195edf59a.png](https://img-blog.csdnimg.cn/img_convert/0e487ae895c7273ef1778ca195edf59a.png)
![b670718178d4717f094947207ddaa3ea.png](https://img-blog.csdnimg.cn/img_convert/b670718178d4717f094947207ddaa3ea.png)
线性回归中的线性方程
回归就是给出线性方程的过程,该过程试图找到满足特定数据集的最优曲线,即:Y = bX + a其中,a是Y轴截距,决定直线与Y轴相交的点;b是斜率,决定直线倾斜的方向和程度。 示例: 通过线性回归预测平方英尺和房屋价格的关系。 数据读取:
import pandas as pddf = pd.read_csv('house_price.csv')df.head()
房价表
计算均值:
def get_mean(value):
total = sum(value)
length = len(value)
mean = total/length
return mean
计算方差:
def get_variance(value):
mean = get_mean(value)
mean_difference_square = [pow((item - mean), 2) for item in value]
variance = sum(mean_difference_square)/float(len(value)-1)
return variance
计算协方差:
def get_covariance(value1, value2):
value1_mean = get_mean(value1)
value2_mean = get_mean(value2)
values_size = len(value1)
covariance = 0.0
for i in range(0, values_size):
covariance += (value1[i] - value1_mean) * (value2[i] - value2_mean)
return covariance / float(values_size - 1)
线性回归过程:
def linear_regression(df):
X = df['square_feet']
Y = df['price']
m = len(X)
square_feet_mean = get_mean(X)
price_mean = get_mean(Y)
#variance of X
square_feet_variance = get_variance(X)
price_variance = get_variance(Y)
covariance_of_price_and_square_feet = get_covariance(X, Y)
w1 = covariance_of_price_and_square_feet / float(square_feet_variance)
w0 = price_mean - w1 * square_feet_mean
# prediction --> Linear Equation
prediction = w0 + w1 * X
df['price (prediction)'] = prediction
return df['price (prediction)']
以上级线性回归方法:
linear_regression(df)
![003600433018d991de850a60c890e22b.png](https://img-blog.csdnimg.cn/img_convert/003600433018d991de850a60c890e22b.png)
![2926c1a15e906076c99965b053d17af4.png](https://img-blog.csdnimg.cn/img_convert/2926c1a15e906076c99965b053d17af4.png)
向量范数
向量范数可用于衡量向量的大小,也就是说,范数|| x ||表示变量x的大小,范数|| x-y ||表示两个向量x和y之间的距离。 向量范数计算公式:![fcdff260ef64bfd344a8f012ab846b19.png](https://img-blog.csdnimg.cn/img_convert/fcdff260ef64bfd344a8f012ab846b19.png)
- 一阶范数也叫Manhattan范数
- 二阶范数也叫Euclidean范数
一阶范数/Manhattan范数
x∈R^n的L1范数定义为:![133832a67b8f5d8e655ea2c0cbc1c724.png](https://img-blog.csdnimg.cn/img_convert/133832a67b8f5d8e655ea2c0cbc1c724.png)
![b2a135404e36319701e8dd44e2dc2bfb.png](https://img-blog.csdnimg.cn/img_convert/b2a135404e36319701e8dd44e2dc2bfb.png)
L2范数/Euclidean范数
x∈R^n的L2范数定义为:![06c7883a8ac86aebb7b907b8d3649b4e.png](https://img-blog.csdnimg.cn/img_convert/06c7883a8ac86aebb7b907b8d3649b4e.png)
![e2b2040284980643b8db3e0851c314aa.png](https://img-blog.csdnimg.cn/img_convert/e2b2040284980643b8db3e0851c314aa.png)
机器学习中的正则化
正则化是指通过修改损失函数以惩罚学习权重的过程,是避免过拟合的有效方式。 正则化在机器学习中的作用:- 解决共线性问题
- 除去噪声数据
- 避免过拟合
- 提升模型表现
- L1正则化(Lasso)
- L2正则化(Ridge)
L1正则化(Lasso)
Lasso正则化应用广泛,其形式为:![133832a67b8f5d8e655ea2c0cbc1c724.png](https://img-blog.csdnimg.cn/img_convert/133832a67b8f5d8e655ea2c0cbc1c724.png)
L2正则化(Ridge)
Ridge正则化表达式:![b29b73654b553bb3244d1bdd13d403ff.png](https://img-blog.csdnimg.cn/img_convert/b29b73654b553bb3244d1bdd13d403ff.png)
特征提取和特征选择
特征提取和特征选择的主要目的是选择一组最佳的低维特征以提高分类效率,以避免维数灾难。在实践中,通过矩阵操作实现特征选择和特征提取。特征提取
在特征提取中,我们通过映射函数从现有特征中找到一组新特征,即:![54f26f6a8fffa2dbebc6228c3c8ebe7d.png](https://img-blog.csdnimg.cn/img_convert/54f26f6a8fffa2dbebc6228c3c8ebe7d.png)
特征选择
特征选择是指从原始特征中选择部分特征。![0adbd3b415d42a697192a6ab19823a7a.png](https://img-blog.csdnimg.cn/img_convert/0adbd3b415d42a697192a6ab19823a7a.png)
协方差矩阵
在PCA推导过程中,协方差矩阵起到至关重要的作用。以下两个概念是计算协方差矩阵的基础:- 方差
- 协方差
方差
![833a50d8228231e971d107177b9e0e89.png](https://img-blog.csdnimg.cn/img_convert/833a50d8228231e971d107177b9e0e89.png)
![fa200afcb845b6cf1a8811ff4af03397.png](https://img-blog.csdnimg.cn/img_convert/fa200afcb845b6cf1a8811ff4af03397.png)
协方差
协方差用于衡量两个变量之间的关系:![2615789d7591826d9f67b6c034cb369e.png](https://img-blog.csdnimg.cn/img_convert/2615789d7591826d9f67b6c034cb369e.png)
协方差矩阵
协方差矩阵是方阵,其中每个元素表示两个随机矢量之间的协方差。![8e7f9a75d2622cc6b28d0b48de77e94c.png](https://img-blog.csdnimg.cn/img_convert/8e7f9a75d2622cc6b28d0b48de77e94c.png)
![20f5fb4ada8595381d04410d4c8d6618.png](https://img-blog.csdnimg.cn/img_convert/20f5fb4ada8595381d04410d4c8d6618.png)
特征值与特征向量
特征值:令m为n*n矩阵,如果存在非零向量x∈R^n,使得mx =λx,则标量λ为矩阵m的特征值。 特征向量:上式中向量x称为特征值λ的特征向量。特征值与特征向量的计算
若n阶矩阵m有特征值λ和相应特征向量x,有mx =λx,则mx —λx= 0,得到下式:![9da3a2dcf70dfd24afae5685bdf4a127.png](https://img-blog.csdnimg.cn/img_convert/9da3a2dcf70dfd24afae5685bdf4a127.png)
![067f1c196bdb1d2aa9672dce807dcedb.png](https://img-blog.csdnimg.cn/img_convert/067f1c196bdb1d2aa9672dce807dcedb.png)
![1b77ce2938e857f4a799d2e2a20eecef.png](https://img-blog.csdnimg.cn/img_convert/1b77ce2938e857f4a799d2e2a20eecef.png)
![5d9ff109d4518f3779020777a3492216.png](https://img-blog.csdnimg.cn/img_convert/5d9ff109d4518f3779020777a3492216.png)
![e5a9392a204a4470163722ff89fe9512.png](https://img-blog.csdnimg.cn/img_convert/e5a9392a204a4470163722ff89fe9512.png)
![88ca298320aaebd483eb2405f66b6a5a.png](https://img-blog.csdnimg.cn/img_convert/88ca298320aaebd483eb2405f66b6a5a.png)
![4af879e5a586ebae7ecaa59db414e9b5.png](https://img-blog.csdnimg.cn/img_convert/4af879e5a586ebae7ecaa59db414e9b5.png)
![8b43db0abc67c59a7c919f6f78b1b0e5.png](https://img-blog.csdnimg.cn/img_convert/8b43db0abc67c59a7c919f6f78b1b0e5.png)
正交性
如果向量v和w的点积为零,称两向量正交。v.w = 0例如:
![bdf5a482ca3bbcad9083f2aa8c9c8335.png](https://img-blog.csdnimg.cn/img_convert/bdf5a482ca3bbcad9083f2aa8c9c8335.png)
正交集
如果某一集合中的所有向量相互正交,且均为单位长度,称为规范正交集合。其张成的子空间称为规范正交集。扩张空间
令V为向量空间,元素v1,v2,…..,vn∈V。 将这些元素与标量相乘加和,所有的线性组合集称为扩张空间。![966cde65f07c89836c54b633b8d85689.png](https://img-blog.csdnimg.cn/img_convert/966cde65f07c89836c54b633b8d85689.png)
![ab9f72da4e32e7c7e45ad4977bd47bf5.png](https://img-blog.csdnimg.cn/img_convert/ab9f72da4e32e7c7e45ad4977bd47bf5.png)
Span (v1, v2, v3) = av1 + bv2 + cv3
![9b37721457ec22dcdd75aa393b914a4a.png](https://img-blog.csdnimg.cn/img_convert/9b37721457ec22dcdd75aa393b914a4a.png)
基
向量空间的基是一组向量,通过基向量的线性可以组成向量空间中任意一个元素。 示例: 假设向量空间的一组基为:![8553094037697fd7e157645b3e6ce778.png](https://img-blog.csdnimg.cn/img_convert/8553094037697fd7e157645b3e6ce778.png)
![182c8aacb7d58d4b23cf27f007118186.png](https://img-blog.csdnimg.cn/img_convert/182c8aacb7d58d4b23cf27f007118186.png)
![c0cb295a1619f6ae87b77f6490201da4.png](https://img-blog.csdnimg.cn/img_convert/c0cb295a1619f6ae87b77f6490201da4.png)
主成分分析PCA
通过PCA能够对数据进行降维,以处理尽可能多的数据。其原理是:找到方差最大的方向,在该方向上进行投影以减小数据维度。 PCA的计算方法: 设有一个N*1向量,其值为x1,x2,…..,xm。 1.计算样本均值![83bb70a6cc98f158d3f97ebcb83f6254.png](https://img-blog.csdnimg.cn/img_convert/83bb70a6cc98f158d3f97ebcb83f6254.png)
![325e1fe711e661b9cd0b6c4a8db87832.png](https://img-blog.csdnimg.cn/img_convert/325e1fe711e661b9cd0b6c4a8db87832.png)
![f7d3ce4d781ed6e73970706d2f9c7364.png](https://img-blog.csdnimg.cn/img_convert/f7d3ce4d781ed6e73970706d2f9c7364.png)
![0ea3d01073cafa7b53205bd4ce7141bd.png](https://img-blog.csdnimg.cn/img_convert/0ea3d01073cafa7b53205bd4ce7141bd.png)
python实现主成分分析
为实现PCA,需要实现以下功能:- 获取协方差矩阵
- 计算特征值和特征向量
- 通过PCA了解降维
import numpy as np
import pylab as pl
import pandas as pd
from sklearn import datasets
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
load_iris = datasets.load_iris()
iris_df = pd.DataFrame(load_iris.data, columns=[load_iris.feature_names])
iris_df.head()
![3118789aa7ae8f8fef50ade0edc86f00.png](https://img-blog.csdnimg.cn/img_convert/3118789aa7ae8f8fef50ade0edc86f00.png)
standardized_x = StandardScaler().fit_transform(load_iris.data)
standardized_x[:2]
![f87160685c094347ebec1134e6f60e01.png](https://img-blog.csdnimg.cn/img_convert/f87160685c094347ebec1134e6f60e01.png)
covariance_matrix_x = np.cov(standardized_x.T)
covariance_matrix_x
![6a2afafdb08fe8419e12b3e715f294d9.png](https://img-blog.csdnimg.cn/img_convert/6a2afafdb08fe8419e12b3e715f294d9.png)
eigenvalues, eigenvectors = np.linalg.eig(covariance_matrix_x)
eigenvalues
![a6869ef7f412adea097ab5e290bc4f3d.png](https://img-blog.csdnimg.cn/img_convert/a6869ef7f412adea097ab5e290bc4f3d.png)
eigenvectors
![afc539219c1a8cf311800ac0123c0316.png](https://img-blog.csdnimg.cn/img_convert/afc539219c1a8cf311800ac0123c0316.png)
total_of_eigenvalues = sum(eigenvalues)
varariance = [(i / total_of_eigenvalues)*100 for i in sorted(eigenvalues, reverse=True)]
varariance
![7037ea4fdcc398de73f6dcf45633762c.png](https://img-blog.csdnimg.cn/img_convert/7037ea4fdcc398de73f6dcf45633762c.png)
- 1st 成分 = 72.96%
- 2nd 成分 = 22.85%
- 3rd 成分 = 3.5%
- 4th 成分 = 0.5%
eigenpairs = [(np.abs(eigenvalues[i]), eigenvectors[:,i]) for i in range(len(eigenvalues))]
# Sorting from Higher values to lower value
eigenpairs.sort(key=lambda x: x[0], reverse=True)
eigenpairs
![8c0e3e0e67be3682fd97fee04f2b2ad5.png](https://img-blog.csdnimg.cn/img_convert/8c0e3e0e67be3682fd97fee04f2b2ad5.png)
matrix_weighing = np.hstack((eigenpairs[0][1].reshape(4,1),eigenpairs[1][1].reshape(4,1)))
matrix_weighing
![79c5b6f2ae10ab09df8950e29c02fa71.png](https://img-blog.csdnimg.cn/img_convert/79c5b6f2ae10ab09df8950e29c02fa71.png)
![ce52161aaaddbd5d6f54091f55ce129f.png](https://img-blog.csdnimg.cn/img_convert/ce52161aaaddbd5d6f54091f55ce129f.png)
plt.figure()target_names = load_iris.target_names
y = load_iris.targetfor c, i, target_name in zip("rgb", [0, 1, 2], target_names):
plt.scatter(Y[y==i,0], Y[y==i,1], c=c, label=target_name)plt.xlabel('PCA 1')
plt.ylabel('PCA 2')
plt.legend()
plt.title('PCA')
plt.show()
![c58439d5640c07a0a5d844a5c90c9c25.png](https://img-blog.csdnimg.cn/img_convert/c58439d5640c07a0a5d844a5c90c9c25.png)
矩阵分解
矩阵分解在机器学习中也至关重要,该过程本质上是将矩阵分解为矩阵的乘积。 常用的矩阵分解技术有LU分解,奇异值分解(SVD)等。 奇异值分解(SVD) SVD可用于减小数据维度,奇异值分解如下: 令M为矩阵,其可以分解为三个矩阵的乘积,即正交矩阵(U),对角矩阵(S)和正交矩阵(V)的转置。![dfb029a36122229bd4cc523ab7f47f51.png](https://img-blog.csdnimg.cn/img_convert/dfb029a36122229bd4cc523ab7f47f51.png)
结论
机器学习和深度学习是建立在数学概念之上的,掌握理解数学知识对于算法构建和数据处理有极大帮助。 线性代数的研究包括向量及其操作。在机器学习中,各处可见线性代数的背影,如线性回归,独热编码,主成分分析PCA,推荐系统中的矩阵分解。 深度学习更甚,其完全基于线性代数和微积分。梯度下降,随机梯度下降等优化方法也建立在此之上。 矩阵是线性代数中的重要概念,通过矩阵可以紧凑地表示线性方程组、线性映射等。同样,向量也是重要的概念,将不同向量与标量乘积进行加和可以组成不同的向量空间。 欢迎在评论区回复你的看法,我会虚心接受并进行改进。 免责声明:本文中表达的观点仅为作者个人观点,不(直接或间接)代表卡耐基梅隆大学或与作者相关的其他组织。我知道,本文不尽完善,仅是本人当前的一些看法与思考,希望对读者有所帮助。资源:
Google colab implementation:
https://colab.research.google.com/drive/1WhzsrEQ-JatDbaaJ81Wh8aYY9jqGWdsw?usp=sharing
Github repository:
https://github.com/towardsai/tutorials/tree/master/linear-algebra-for-ml-and-deep-learning
参考:
[1] Linear Algebra, Wikipedia, https://en.wikipedia.org/wiki/Linear_algebra
[2] Euclidean Space, Wikipedia, https://en.wikipedia.org/wiki/Euclidean_space
[3] High-dimensional Simplexes for Supermetric Search, Richard Connor, Lucia Vadicamo, Fausto Rabitti, ResearchGate, https://www.researchgate.net/publication/318720793_High-Dimensional_Simplexes_for_Supermetric_Search
[4] ML | Normal Equation in Linear Regression, GeeksforGeeks, https://www.geeksforgeeks.org/ml-normal-equation-in-linear-regression/
[5] Vector Norms by Roger Crawfis, CSE541 — Department of Computer Science, Stony Brook University, https://www.slideserve.com/jaimie/vector-norms
[6] Variance Estimation Simulation, Online Stat Book by Rice University, http://onlinestatbook.com/2/summarizing_distributions/variance_est.html
[7] Lecture 17: Orthogonality, Oliver Knill, Harvard University, http://people.math.harvard.edu/~knill/teaching/math19b_2011/handouts/math19b_2011.pdf
[8] Orthonormality, Wikipedia, https://en.wikipedia.org/wiki/Orthonormality
[9] Linear Algebra/Basis, Wikibooks, https://en.wikibooks.org/wiki/Linear_Algebra/Basis
[10] Linear Algebra, LibreTexts, https://math.libretexts.org/Bookshelves/Linear_Algebra
只要一张图片,秒变迪士尼角色!编程教学详解,你也能生成专属于你的迪士尼脸
2020-11-01
![fea582ceb5a5feb1ca2571fcbed6f4b2.png](https://img-blog.csdnimg.cn/img_convert/fea582ceb5a5feb1ca2571fcbed6f4b2.png)
资源 | 《30天吃掉Tensorflow》开放下载
2020-10-23
![c91765ac6e876f0c8ced8bc133714cd8.png](https://img-blog.csdnimg.cn/img_convert/c91765ac6e876f0c8ced8bc133714cd8.png)
资料 | 1800页33章数学方法精要笔记 —深入数学建模, 机器学习和深度学习的数学基础
2020-10-12
![4caf320663775747a0bb4812fafef773.png](https://img-blog.csdnimg.cn/img_convert/4caf320663775747a0bb4812fafef773.png)
AI研习社是AI学术青年和开发者社区,为大家提供一个顶会资讯、论文解读、数据竞赛、求职内推等的技术交流阵地,欢迎登陆www.yanxishe.com加入我们吧~
投稿、转载、媒介合作联系微信号 | bajiaojiao-sz
商务合作联系微信号 | LJ18825253481