机器学习、人工智能、大数据学习中笔记

学习中记得一些笔记：来源：李沐老师《动手学习深度学习_pytorch版本》、李航老师《统计学习方法》、葫芦娃《百面机器学习》《百面深度学习》、网络各种资料。现在是在做笔记，待做完以后再重新整理归类。实时更新。

代码实现

实现卷积层

import torch
import torch.nn as nn

def corr2d(X: torch.tensor, K: torch.tensor) -> torch.tensor:
    """
    步长为1、卷积核大小小于输入大小
    :param K: 卷积核
    :param X: 输入
    :return: 卷积后输出
    """
    n_h, n_w = X.shape
    k_h, k_w = K.shape
    re = torch.zeros((n_h - k_h + 1, n_w - k_w + 1))
    for i in range(re.shape[0]):
        for j in range(re.shape[1]):
            re[i][j] = (X[i:i + k_h, j:j + k_w] * K).sum()
    return re

# test
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
print(corr2d(X, K))

tensor([[19., 25.],
        [37., 43.]])

class Cov2d(nn.Module):
    def __init__(self, kernel_size):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(kernel_size))
        self.bais = nn.Parameter(torch.zeros(1))

    def forward(self, x):
        return corr2d(x, self.weight) + self.bais

net = Cov2d([2, 2])
print(net(X))

CrossEntropyLoss

$o_j$为为归一化预测的$o$的第$j$个元素。
$${\hat{y}}_j=softmax(o)=\frac{exp(o_j)}{{\sum }_{k}exp(o_k)}$$
这里就会发现当$o_j$ 足够大时数值会上溢出。一般处理方法是$o_j-max(o)$。这样softmax公式就变成了:
$$sofmax(o)=\frac{exp(o_j-max(o))}{{\sum }_{k}exp(o_k-max(o))}$$
这样有效防止上溢出。
但对于之后求损失函数：
$$l=-\sum _k{y}_{i}log({\hat{y}}_i)$$
$$l=-log({\hat{y}}_i)$$
当${\hat{y}}_i$足够小时便会下溢出那么对于原公式进行化简：
$$l=-log(\frac{exp(o_j)}{{\sum }_{k}exp(o_k)})$$
$$l=-o_j+log(\sum _{k}exp(o_k))$$

实现nn.seqential

import torch
import torch.nn as nn
from torch.nn import functional as F


class MySequential(nn.Module):
    def __init__(self, *arg):
        super().__init__()
        for block in arg:
            self._modules[block] = block

    def forward(self, x):
        for block in self._modules.values():
            x = block(x)
        return x

验证

net = MySequential(nn.Linear(20, 30), nn.ReLU(), nn.Linear(30, 2))
x = torch.randn((2, 20))
net(x)

输出：

tensor([[ 0.2447, -0.0728],
        [ 0.0344, -0.3802]], grad_fn=<AddmmBackward0>)

这里nn.ReLU 和F.ReLU其实我感觉没有区别。（如果有的话请指正）
$$\acute{x}=\{\begin{array}{ll}1,& \text{x>threshold}\\ 0,& \text{x<threshold}\end{array}$$

机器学习

EM算法

不完全数据： 观测随机变量Y
完全数据：观测随机变量Y和隐随机变量Z
含有隐变量Z的概率模型，目标是极大化观测变量Y关于参数$\theta$的对数似然函数，即$\underset{\theta }{\max }L(\theta )$
$$L(\theta )=logP(Y|\theta )=log\sum _{z}P(Y,Z|\theta )=log(P(Y|Z,\theta )P(Z|\theta ))$$
$$\begin{gathered} L(\theta )\ge L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})log\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})} \\ L(\theta )=B(\theta ,{\theta }^{(i)}) \end{gathered}$$
要使得${\theta }^{(i+1)}$使得$B$最大就即：
$$\begin{gathered} {\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}(L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})log\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})} \\ =\underset{\theta }{\mathrm{argmax}}(\sum _{Z}P(Z|Y,{\theta }^{(i)})logP(Y|Z,\theta )P(Z|\theta )) \\ =(\sum _{Z}P(Z|Y,{\theta }^{(i)})logP(Y,Z|\theta )) \end{gathered}$$

隐马尔可夫模型（HMM）是什么

在马尔可夫模型中，每个状态代表了一个可观察的事件，所以，马尔可夫模型有时又称为可视马尔可夫模型（visible Markov model, VMM）。在隐马尔可夫模型（HMM）中我们不知道模型所经过的状态序列，只指导状态的概率函数，也就是说，观察到的事件是状态的随机函数，因此，该模型是一个双重随机过程。其中模型的状态转移过程是不可观察的，即隐蔽的，可观察事件的随机过程是隐蔽的状态转换过程的随机函数。
状态集合$$Q=q_1,q_2,\dots ,q_N,|Q|=N$$
观测集合$$V=v_1,v_2,\dots ,v_M,|V|=M$$
状态序列$$I=i_1,i_2,\dots ,i_T{i}_t\in Q$$
观测序列$$O=o_1,o_2,\dots ,o_T{o}_t\in V$$
状态转移矩阵 $$\mathbf{A}=[a_{ij}]$$
在t时刻处于状态$q_i$条件下，在$t+1$时刻转移到状态$q_j$的概率：$$a_{ij}=\mathbf{P}(i_t+1=q_j|i_t=q_i)$$
观察概率矩阵:$$B=[b_j(k){]}_{N\times M}$$
在t时刻处于状态$q_i$条件下生成观察$v_k$的概率：
$$b_j(k)=\mathbf{P}(o_t=v_k|i_t=q_j)$$
初始概率向量：$${\pi }_i=P(i_i=q_i)$$
在时刻$t=1$处于状态$q_i$的概率：
$${\pi }_i=P(i_1=q_i)$$
隐马尔科夫模型$$\lambda =(A,B,\pi )$$
隐马尔可夫模型需要满足两个条件：

1. 齐次马尔可夫假设：在任意时刻$t$的状态只依赖于时刻$t-1$
   $$P(i_t|i_t-1,o_t-1,\dots ,i_1,o_1)=P(i_t|i_t-1)$$
2. 观测独立性假设：任意时刻的观测只依赖于该时刻的状态。
   $$P(o_t|i_T,o_T,i_{T-1},\dots ,i_1,o_1)=P(o_t|i_t)$$

• 隐马尔科夫模型三个基本问题：

1. 概率计算
   已知$\lambda =(A,B,\pi )和O=o_1,o_2,\dots ,o_T$，计算$P(O|\lambda )$
   表示给定模型$\lambda$和$t$和之前的序列$O$，且$o_t$状态为$q_i$的概率
2. 学习
   已知$O=o_1,o_2,\dots ,o_T$，计算${\lambda }^{\ast }=\mathbf{a}\mathbf{r}\mathbf{g}\mathbf{m}\mathbf{a}\mathbf{x}P(O|\lambda )$
   （得到观测序列重构模型$\lambda$所以HMM为生成式模型）
3. 预测 (encoder)
   已知$\lambda =(A,B,\pi )和O=o_1,o_2,\dots ,o_T$计算${\lambda }^{\ast }=\mathbf{a}\mathbf{r}\mathbf{g}\mathbf{m}\mathbf{a}\mathbf{x}P(I|O,\lambda )$
   已知模型和序列可以预测未来状态或者重构其他序列。

• 观测序列生成算法：
  • 输入：隐马尔科夫模型$\lambda =(A,B,\pi )$，观测序列长度$T$
  • 输出：观测序列$O=o_1,o_2,\dots ,o_t,\dots ,o_T$

1. 初始状态有$\pi$产生状态$i_1$
2. $t=1$
3. 由状态$i_t$的观测概率分布$b_j(k)$生成$o_t$
4. 由状态$i_t$的状态转移分布$a_{ij}$生成