李宏毅机器学习2

代码和资料和以访问ML2019

Ⅰ，introduction

李宏毅机器学习的作业一，Assignment 1 - Predicting PM2.5,需要根据从一天中随机sample出的9个小时的18个指标的观测值来预测下一时刻的PM2.5的值。具体的描述可以看2017MLfall #1
实现的思路在：ml-2017fall-hw1-ta
可以找到。
部分代码在：Sample Code

Ⅱ，Some notes on the data

名词解释
溫度. AMB_TEMP (℃),
甲烷. CH4 (ppm),
非甲烷碳氫化合物. NMHC (ppm),
雨量 RAINFALL(mm)
相對濕度. RH(percent)
總碳氫化合物. THC (ppm)
小時風向值WD_HR(degree)
風向 WIND_DIREC(degree)
風速. WIND_SPEED (m/sec)
小時風速值. WS_HR (m/sec)

为什么要说这些指标呢，可以参考模型建立

0.真正做预测，我肯定考虑要跨天了，但是操作也挺麻烦的，而且他的数据是断的，每个月只有20天（剩下10天可能当测试集了），每个月至少还要做个截断，操作繁琐
.特征选择，我肯定先用纯PM2.5了
2.然后可以考虑PM2.5+PM10.
3.然后我会考虑风，因为北京就和风有关
4.可以考虑一下降雨因素
5.然后考虑所有的都用？要不要正则化？
6.每天的不同时段明显不一样，也就是说，半夜那部分的数据，肯定影响你对白天那部分的预测
既然是机器学习，可能就都考虑进去了，数据足够多，模型足够大，应该所有部分都能正确预测？
PS：应该西风或者西北风好点？
这都不绝对，因为你不知道台湾的污染源分布？
也许受大陆影响，西北风会更脏？
东边的海风也许更干净？
也许因为中部有山，所以东风不好用？
所以这个建模，跟实际地形、外部环境，等等，都有关系。你不了解详细信息，不会建模建的很好。

Ⅲ、normalize

由于18个项指标的大小差的不是很多，没有normalization的效果反而要好一点点。

• normalization
  predict error is : 5.0470668649513035
  time cost is 4.1975656390000005
• without normalization
  predict error is : 4.948110040730656
  time cost is 4.213936189

Ⅳ、initialize

凸函数用梯度下降，采用Adagrad，初始的learning rate设定合适，按道理不会出现尖峰，但w初始化为全零，train过程中，loss结果为

会在第一次迭代出现尖峰，这是因为用Adagrad，第一次迭代之后，

w 的每一维的值会变为learning rate η，当数据集很大，learning rate也很大的时候，用MSE作为的loss的value也会很大。

w = η*np.ones(len(x[0])) #η为learning rate

这样就出现的是loss一直下降的情况，

其实这也没有收敛，我们可以调整y轴看一下：

loss还在下降

Ⅴ、about feature

直接将9个小时的18个指标共计162的feature拼成一个vector，这样的feature是很直白，很简单，会有很多冗余，耦合，相关。但对于test的9个小时是随机sample出来的，这样的特征也是可以接受的，但是其bias应该是有的。linear model本身的bias比较大，因此想要改进模型，必须复杂化模型，单纯的增加数据和正则化是没有意义的。
我们也可以看到学出来的w是比较小，model是比较光滑的。

Ⅵ、to improve

• Cross validation
  train的时候没有shuffle出validation set进行交叉验证，直接train，train好的model在test集合上验证，回过头在修正模型，相当于把test当成了train，去学习test的特征。
• Feature extraction、
  直接concatenate成一个长的vector是一个idea，但不是一个好的idea