Show and Tell: A Neural Image Caption Generator

[Show and Tell: A Neural Image Caption Generator][https://arxiv.org/pdf/1411.4555v1.pdf]

概要

本文介绍了NIC算法，将CNN与LSTM结合，做了一件什么事呢。就是小学时的看图说话，利用CNN提取图片特征，并作为$t_{-1}$输入LSTM中，将描述性词汇转化为独热编码，利用嵌入模型做为$S_t$输入LSTM中。

公式

最大化似然函数：
$${\theta }^{\star }=\arg \underset{\theta }{\max }\sum _{(I,S)}\log p(S|I;\theta )$$
可能性：
$$\log p(S|I)=\sum _{t=0}^N\log p\left(S_t|I,S_0,\dots ,S_{t-1}\right)$$
在LSTM中：
$$h_{t+1}=f\left(h_t,x_t\right)$$

$$\begin{array}{rl}{i}_t& =\sigma \left(W_{ix}{x}_t+W_{im}{m}_{t-1}\right)\\ f_t& =\sigma \left(W_{fx}{x}_t+W_{fm}{m}_{t-1}\right)\\ o_t& =\sigma \left(W_{ox}{x}_t+W_{om}{m}_{t-1}\right)\\ c_t& =f_t\odot c_{t-1}+i_t\odot h\left(W_{cx}{x}_t+W_{cm}{m}_{t-1}\right)(7)\\ m_t& =o_t\odot c_t\\ p_{t+1}& =\mathrm{Softmax}\left(m_t\right)\end{array}$$

输入和输出：
x − 1 = C N N ( I ) x t = W e S t , t ∈ { 0 … N − 1 } p t + 1 = LSTM ⁡ ( x t ) , t ∈ { 0 … N − 1 } \begin{aligned} x_{-1} &=\mathrm{CNN}(I) \\ x_{t} &=W_{e} S_{t}, \quad t \in\{0 \ldots N-1\} \\ p_{t+1} &=\operatorname{LSTM}\left(x_{t}\right), \quad t \in\{0 \ldots N-1\} \end{aligned} x−1​xt​pt+1​​=CNN(I)=We​St​,t∈{0…N−1}=LSTM(xt​),t∈{0…N−1}​

网络架构