HWnet 基于“线性嵌入式向量”可在线伸缩“线性回归网络”

https://github.com/FFiot/HWnet

1. 性能提升

• 左侧:多项式线性回归、Tanh激活函数; 右侧:线性嵌入式向量。
• 训练性能提升近百倍。
• 非常接近“全局最优点”。

2. 线性回归在大规模网络中的缺陷

• 每一个数据训练所有参数。
• 每一个参数参与每一次推断。

3. 箱式特征的缺陷

• 分“箱”后，相邻箱过于独立，导致“不圆滑”。
• 稀疏特征导致后端网络规模过大，容易过拟合。

4. 线性嵌入式向量

• 每个值域有各自的向量。
• 对每一个输入值，用所在值域、周边值域的“向量”乘以“权重”和表征。
• 每个向量的“权重”与输入值与值域中点的距离相关。
• 通过设定“takecare”参数，控制周边值域“向量”的"权重"。
  • 防止过于“独立”导致的“过拟合”、“不圆滑”。
  • 防止过于“takecare”导致拟合能力不足。