【ML 2023 Spring】hw1

题意

给出USA某个洲过去3天的调查数据，根据这些数据预测测试数据第三天检测为阳性的可能性

id	AL	AZ	CA	CO	CT	FL	GA	IL	IN	IA	KS	KY	LA	ME	MD	MA	MI	MN	MO	NJ	NM	NY	NC	OH	OK	OR	PA	SC	TN	TX	VA	WA	WV	WI	cli	ili	wnohh_cmnty_cli	wbelief_masking_effective	wbelief_distancing_effective	wcovid_vaccinated_friends	wlarge_event_indoors	wothers_masked_public	wothers_distanced_public	wshop_indoors	wrestaurant_indoors	wworried_catch_covid	hh_cmnty_cli	nohh_cmnty_cli	wearing_mask_7d	public_transit	worried_finances	tested_positive	cli	ili	wnohh_cmnty_cli	wbelief_masking_effective	wbelief_distancing_effective	wcovid_vaccinated_friends	wlarge_event_indoors	wothers_masked_public	wothers_distanced_public	wshop_indoors	wrestaurant_indoors	wworried_catch_covid	hh_cmnty_cli	nohh_cmnty_cli	wearing_mask_7d	public_transit	worried_finances	tested_positive	cli	ili	wnohh_cmnty_cli	wbelief_masking_effective	wbelief_distancing_effective	wcovid_vaccinated_friends	wlarge_event_indoors	wothers_masked_public	wothers_distanced_public	wshop_indoors	wrestaurant_indoors	wworried_catch_covid	hh_cmnty_cli	nohh_cmnty_cli	wearing_mask_7d	public_transit	worried_finances	tested_positive

目标

使用深度神经网络（DNNs）解决线性回归问题

---

Simple Baseline

方法

样例代码链接

结果

---

Medium Baseline

Feature Selection

并不是所有特征都与结果有联系，比如地区信息。

因此主要修改select_feat函数代码，选择索引下标35-88，剔除了地区信息特征。

if select_all:
     feat_idx = list(range(raw_x_train.shape[1]))
else:
     feat_idx = []
     for i in range(35,raw_x_train.shape[1]):
         feat_idx.append(i)

结果

---

Strong Baseline

L2 Regularization + Adam Optimizer

修改trainer函数代码，选择使用Adam优化器，并且L2正则化方式采用权重衰退方式。

optimizer =  torch.optim.Adam(model.parameters(),lr=config['learning_rate'],weight_decay=1e-5)

结果

使用官方推荐的过Strong的做法，但是实际效果看起来并不是很好。
后续没有硬train超参如weight_decay=1e-5等，有比较好的结果可以交流一下

---

Boss Baseline

方法
官方推荐使用更好的特征选择方式，修改模型架构以及调参。

结果

---