张量网络机器学习基本思想
1.机器学习介绍
简单而言, 机器学习模型可以看作是一个黑盒子, 接受输入信息后,输出目标信息。
几个常见的例子:
类别 | 输入 | 输出 |
---|---|---|
图形识别 | 图片信息 | 图像分类 |
语言翻译 | 语言文字 | 译后语言文字 |
自动驾驶 | 驾驶环境信息及交通规则等 | 驾驶操作动作 |
棋类游戏 | 棋盘信息及游戏规则等 | 如何走下一步棋 |
更加数学地讲,机器学习模型可以看作是一个数学映射
f
f
f ,该映射的变量是输入信息
x
x
x (由特征量构成的向量) ,且包含变分参数
w
w
w, 输出为目标信 息,形式上可写成
y
=
f
(
x
;
w
)
y=f(x ; w)
y=f(x;w)
y
y
y 为输出值构成的向量
2.神经网络介绍
机器学习中最著名的模型为神经网络, 以2层全连接层构成的前馈神经网络为例,其映射函数可以写成
f
=
σ
2
(
W
^
2
σ
1
(
W
^
1
x
+
b
1
)
+
b
2
)
f=\sigma_{2}\left(\widehat{W}_{2} \sigma_{1}\left(\widehat{W}_{1} x+\boldsymbol{b}_{1}\right)+\boldsymbol{b}_{2}\right)
f=σ2(W
2σ1(W
1x+b1)+b2)
其中,
W
^
n
\widehat{W}_{n}
W
n 为第n个全连接层的权重 (weight) 矩阵,
b
n
\boldsymbol{b}_{n}
bn 为偏置项(bias)
σ
n
\sigma_{n}
σn 为激活函数。注:
x
,
b
x,b
x,b为向量
注:激活函数:非线性激活函数,对每一个向量元做一个非线性的映射
具体操作: 第n层的输入向量,将与该层的权重矩阵作矩阵乘积,所得的向量加上偏置项量后,输入到该层的激活函数,最终得到的向量为该层的输出。
下图为神经网络的示意图(以三分器为例):
其中,输入
x
x
x为4维向量, 由4个特征 (feature) 构成, 例如4个像素值; 2层的权重矩阵维数分别为4
×
6
\times 6
×6 、
6
×
3
;
6 \times 3 ;
6×3; 偏置项量维数分别为6维、3维; 输出y为3 维向量。
分类结果可由argmax
(
y
i
)
\left(y_{i}\right)
(yi) 给出(argmax的意思是找y这个三维向量中最大的那个向量的指标等于几,即第几个最大)
注:
y
y
y为三维向量如果第0个向量元最大,那么就可以认为输入图片属于第0类,第1个
y
y
y最大,则输入图片属于第1类等等。
3.张量网络机器学习的核心
因此,机器学习的核心要素有:
学习任务性质:分监督学习、半监督学习、非监督学习、强化学习等
模型及优化算法:神经网络、玻尔兹曼机、支持向量机、非参数模型等; 反向传播算法、贪妥更新法等
张量网络机器学习实质就是,利用张量网络建立输入到输出的映射,并使用张量网络算法实现变分参数的更新。
张量网络机器学习的基本步骤:
1.将数据编码/嵌入到量子希尔伯特空间(就是做一个映射)
2.利用张量网络在该空间进行映射获得输出
以图像识别为例: