神经网络的风格转换

what is neural style transfer?

• 什么是神经风格转换。
  
  sample: 转换图像风格。

深度卷积网格

Visualizing what a deep network is learning?

Neural style transfer cost function

define cost function: $J(G)=\alpha J_{content}(C,G)+\beta J_{Style}(S,G)$

Find the generated image G

• 1.Initiate G randomly
  G: 100x100X3
• 2 .Use gradient descent to minimize $J(G)$
  $$G=G-\frac{\varphi }{\varphi G}J(G)$$
• 通过修改G的像素值减少代价函数的值，可以将G的像素值里理解为之前学习的模型参数。

Content cost funcation

$$J(G)=\alpha J_{content}(C,G)+\beta J_{Style}(S,G)$$

• Say you use hidden layer $l$ to compute content cost.
• Use pre-trained ConvNet.
• Let $a^{[l](c)}$ and $a^{[l](G)}$ be the activation of layer $l$ on the images
• If $a^{[l](c)}$ and $a^{[l](G)}$ are similar, both images have simiar content
  

在隐藏层l之后使用两个激活，分别对应的输出结果为C和G，训练完成之后比较连个激活函数，如果相似则他们的图像具有相似性。
$$J_{content(C,G)}=\frac{1}{2}||a^{[l](C)}-a^{[l](G)}|{|}^2$$
该方程会激励图像G自我修改。
不是太明白。

Style cost function

目前无法理解
Let $a_{i,j,k}$ = activation at(i,j,k). $G^{[l](s)}$ is $n_c^{[l]}x{n}_c^{[l](c)}$
应为通道数是nc，需要得到每个激活单元之间的差异。
$$G_{k,k‘}^{[l](s)}=\sum _{i=1}^{n_H^{[l](c)}}\sum _{j=1}^{n_W^{[l](c)}}{a}_{i,j,k}^{[l]}{a}_{i,j,k‘}^{[l]}$$
这里的G表示层与层之间的差异。
$$G^{[l](G)}=\sum _{i=1}^{n_H^{[l]}}\sum _{j=1}^{n_W^{[l]}}{a}_{i,j,k}^{[l][s]}{a}_{i,j,k}^{[l](G)}$$
推导出公式为：
$$J_{style}^{[l]}(S,G)=||G^{[l][s]}-G^{[l][G]}|{|}^2=\frac{1}{(2n_H^{[l]}{n}_W^{[l]}{n}_C^{[l]}{)}^2}\sum _k\sum _{k‘}(G_{kk‘}^{[l][s]}-G_{kk‘}^{[l][G]}{)}^2$$
$$J_{style}(S,G)=\sum _{\tau }{\lambda }^{[l]}{J}_{style}^{[l]}(S,G)$$
$$J(G)=\alpha J_{content}(C,G)+\beta J_{style}(S,G)$$