吴恩达DL3.2.4节：在不同的划分上进行训练并测试

1.本节问题 ：现在很多ML团队想尽一切办法收集更多数据让模型效果更好，导致了训练数据可能和验证/测试数据稍微不同分布，怎样处理这样的问题呢？
2. 课堂笔记
例1：开发一个app识别用户上传的图片是不是猫，但是用户上传的图片都很模糊，有10,000张，你从网上爬取的图片都很高清有200,000张，这两个数据集不是同一分布的，但是只用10,000张图片进行训练数据量太少，有两种方法：

• 可以将数据洗牌，然后重新划分三个集合使用
• 200,000张爬虫照片+5,000张用户上传图片组成训练集，验证集2,500和测试集2,500取自剩下5,000张用户图片。
  方法一：根据期望算出测试集中的爬虫照片大概有2381张，只有119张用户图片，数据严重不平衡，target设立不适合。
  方法二：这样就相当于是告诉你的团队将target瞄准用户上传的图片。

例2：进行汽车后视镜开发（语音助手）
可以用其他地方收集到的数据加用户数据组成训练集，验证集和测试集。

---

你收集到的所有数据都要用上吗？答案不是绝对的，下节揭晓。