机器学习—神经网络

神经网络例子—T恤销售好坏预测

输入层：衬衫价格，运输成本，营销，材质
中间层：可购性，潜在意识 ，质量意见
输出层：销量好坏的可能
更复杂的神经网络具有更多的中间层，更多的特征等等。
神经网络为前向传播，从左至右，依次计算
常用损失函数：
分类（逻辑回归）BinaryCrossentropy():
$L(f(x),y)=-ylog(f(x))-(1-y)log(1-f(x))$
回归问题：MeanSquareError()
常用激活函数g(x):
$\mathbf{a}=g(\mathbf{x})=(\mathbf{w}\cdot \mathbf{x}+\mathbf{b})$
sigmoid():g(z) = $\frac{1}{1+e^z}$      (0,1)
Linear activation function():g(z)=z      R
ReLU():g(z)=max(0,z)       [0,+∞)
激活函数的选择：大多根据输出层y的取值范围
隐藏层的激活函数常用ReLU()
多类softmax
Logic regression(2 possible output value):
$\mathbf{z}=\mathbf{w}\cdot \mathbf{x}+\mathbf{b}$
$a_1=\frac{1}{1+e^{-z}}$
$a_2=1-a_1$
$loss=-ylog{a}_1-(1-y)log(1-a_1)$
softmax regression(n possible outputs):
${\mathbf{z}}_{\mathbf{j}}={\mathbf{w}}_{\mathbf{j}}\cdot \mathbf{x}+{\mathbf{b}}_{\mathbf{j}}$
$a_j=\frac{e^{z_j}}{{\sum }_{k=1}^N{e}^{z_k}}$
$loss=-log{a}_n$       if $y=n$
多类与多标签分类
muti class classification：输出结果为单一数值，从多个选项中选出一个
muti lable classification：输出结果为向量（同时判断了多个事件）
优化方法—adam算法
根据计算的损失结果自动调整学习率
convolutional layer
卷积层：一个神经元只针对一部分输入层的内容