策略建模--基于机器学习 学习笔记

1. 特征选择三种方法：
（1） 选择子集 从比如有300个特征集，以某种方式从中选一些子集来做计算预测
方式可以是暴力地设k=1到300，然后分别求出R^2值，然后再选R^2值相对大的子集们，衡量指标除了R^2也可以是AIC BIC。又或者是从300中选取1到300，就是排列组合的方法来依次求R^2
（2） 收缩估计。构造一个罚函数使得得到一个精炼的模型，同时设定一些系数为0，保留了子集收缩的优点。例如lasso。
（3） 降维。
2. 遗传算法
变异：随机从一条DNA链上选择一些位点，设定一个变异的步长范围，然后对选中的数作改变。
重组: 随机选择两两的对，在某个区域里互换

假如要在6人中选出有牛人血脉的人，每一个人都有一个适应度函数值，依次为每个人求出其fitness的概率值。然后再为每一个人都生成一个在0到1之间的随机数，看该随机数-概率是否大于0，大于0则选取该数，否则舍去。

遗传算法的缺点是当产生的种群较小的话，很难找到全局最优点。
3. 神经网络

w值作为一个权重，将输入的x放大后汇集到一起，判断x*w是否大于规定的阈值T，大于则输出1否则输出0.也可再加入一个偏项，该项x为-1，w为T，则最终输出只需判断是否大于0，即我们只要研究w值，不必求阈值T。

假设训练集真实输出为z，而我们有一个函数g根据x求得的预测输出为d，我们要求的就是二者相差最小的值p，使用平方的格式是为了方便求导求极小值。因为给定了x，所以求p其实也是在求w

如图对w1 w2的投资组合用梯度下降法求得最优解，所以根据公式 怎样确定w的值问题变为→ 确定p对w的偏导？

为了方便对阈值函数求导，我们要对该函数做相应平滑，此时可以找到模型类似的sigmoid函数来替代。

假设有两个神经元 则可得到p对w的偏导如图，而图中p1 p2分别只是x1w1和x2w2的乘积

但是当出现很多x的输入的时候，这种递归的链式算法的复杂度将呈指数型，而我们最终也只判断最后两个p2值，所以我们考虑从后往前算，这样可以大大减少计算时间，将复杂度降低为与x的维度呈线性关系的复杂度，而这就成了BP算法的核心：每一层的偏导能对所有参数进行重复利用

RNN 这个节点会保留上n个节点(n由人为确定) 的记忆来求得输出值
LSTM 将激活函数sigmoid变为更为复杂的函数的集合