![e3120db194df726bade9502018d13f3d.png](https://i-blog.csdnimg.cn/blog_migrate/75e97453bc9e19b2019814819f23e127.jpeg)
分享一份小样本学习资料:国际数据挖掘与知识发现大会,简称 KDD,宾夕法尼亚州立大学的研究者做了关于小样本学习《Learning with Small Data》教程,涵盖迁移学习与元学习等最新内容,值得看!
欢迎关注作者同时订阅小样本学习专栏(FSL),不定期更新学习资料以及个人见解。
![60108ed2a2063c30b911620281dd3d1c.png](https://i-blog.csdnimg.cn/blog_migrate/ac89c06cf2c3eb6170986f019f6bde5d.jpeg)
摘要
在大数据时代,数据驱动方法已在各种应用中越来越流行,例如图像识别,交通信号控制,假新闻检测。这些数据驱动方法的优越性能取决于大规模的带标签的训练数据,而这些标签在实际应用中可能无法访问,即“小(带标签)的数据”挑战。例如,预测城市中的突发事件,检测新兴的虚假新闻以及预测罕见疾病状况的发展。在大多数情况下,人们最关心这些小数据案例,因此提高带有小标签数据的机器学习算法的学习效率已成为热门的研究主题。在本教程中,我们将回顾用于学习小型(标记)数据的趋势最先进的机器学习技术。这些技术从两个方面进行组织:(1)提供有关知识泛化,转移和共享的最新研究的全面综述,其中讨论了转移学习,多任务学习和元学习。特别是,我们将更加专注于元学习,这将提高模型的泛化能力,并且最近被证明是一种有效的方法。 (2)介绍尖端技术,这些技术专注于将领域知识整合到机器学习模型中。与基于模型的知识转移技术不同,在实际应用中,领域知识(例如物理定律)为我们提供了应对小数据挑战的新视角。具体而言,领域知识可用于优化学习策略和/或指导模型设计。在数据挖掘领域,我们认为以小数据学习是一个具有重要社会影响的趋势主题,它将吸引来自学术界和工业界的研究人员和从业人员。
Outline
-
- Introduction
- Part I: Auxiliary Task
- Transfer Learning
- Supervised transfer learning
- Unsupervised domain adaptation
- Multi-task learning
- Hard parameter sharing
- Soft parameter sharing
- Adapted parameter sharing
- Meta-learning
- Meta-learning algorithms
- Gradient-based meta-learning
- Metric-based meta-learning
- Meta-learning challenges
- Task heterogeneity
- Meta-overfitting
- Meta-learning algorithms
- Applications
- Transfer Learning
- Part II: Domain Knowledge
- Loss function design
- Residual modelling
- Regularization
- Model initialization
- Model design
- Encoding intermediate domain variables
- Encoding other domain-specific prior knowledge
- Loss function design
- Conclusion and Discussion
- Conclusion
- Q & A
全文的视频讲解链接如下:
KDD 2020 Tutorial - Learning with Small Data_哔哩哔哩 (゜-゜)つロ 干杯~-bilibiliwww.bilibili.com![0e6a9fcd0e75d4d52b36fa70b833dfaa.png](https://i-blog.csdnimg.cn/blog_migrate/b3e0f5a201ef6861cc24a55354c7b908.png)
全文116页ppt链接如下:
Learning with Small Datasites.psu.edu防止上面链接无法下载,提供网盘下载链接,具体内容在下方展示:
![8785af2cede0c76cecce2f2be03397c1.png](https://i-blog.csdnimg.cn/blog_migrate/b6c8098dbb589bc68270b4c87675e5ff.jpeg)
![727a9750c6bc4dc830d673bf825466f6.png](https://i-blog.csdnimg.cn/blog_migrate/d996b4924d5bbbe02566677bd6717734.jpeg)
![ff29c2467ac48e9245e37ff78a789b28.png](https://i-blog.csdnimg.cn/blog_migrate/3f602f943bfa632f820de611fa812a10.jpeg)
![10028ea5a8e828820a89e80d9ca87aa5.png](https://i-blog.csdnimg.cn/blog_migrate/d129bf8dd499e582ea179bae60fb8faf.jpeg)
![6c99308c518b98239947490bd6dcc5d8.png](https://i-blog.csdnimg.cn/blog_migrate/2c05eef0e92ed94284af6544f40863cc.jpeg)
![2dbd59440d04d167475f8cfe5cc5f902.png](https://i-blog.csdnimg.cn/blog_migrate/369066b4bd6d0fa144d2d47f8b778237.png)
![86e5e5c266cae3a8fe7fc18e80e53c8b.png](https://i-blog.csdnimg.cn/blog_migrate/1b8e07f0133c79adc8f00ce88f4bfae8.jpeg)
![e38c29e5e076c8894e961efa3599cf31.png](https://i-blog.csdnimg.cn/blog_migrate/a3863e2aafbf150ae92bd3074e7fa225.png)
![bca638c9c832d034d190c882e0500346.png](https://i-blog.csdnimg.cn/blog_migrate/3ad74d015cc76bdffa8b9ef0813873ee.png)
![5cc194eb47d2d354d69837e338d09e35.png](https://i-blog.csdnimg.cn/blog_migrate/bf214fbbdfe9e5509d6a6e53869bd39c.jpeg)
![12eab6f7c91c0a75fdcbef4b5b13d7b8.png](https://i-blog.csdnimg.cn/blog_migrate/29dfdc322b901f10635086c036f39797.jpeg)
![b87185dc85527df12a25472af502a0d3.png](https://i-blog.csdnimg.cn/blog_migrate/1466d115bc7aaa32774965ef86d30426.jpeg)
![b09e88de4c56f136180d09cdb55ea02a.png](https://i-blog.csdnimg.cn/blog_migrate/94659e174bd975c07ec79b92b984b0d8.png)
![b122cf020a50f708ae74e3dff5a5a78c.png](https://i-blog.csdnimg.cn/blog_migrate/a0aad85c4a812b5f85c8e3ce81cc58b4.jpeg)
![ccd83d4a2d868aee1da2b8b245cc109c.png](https://i-blog.csdnimg.cn/blog_migrate/b9f419a30fd21e4039c8d508b2ce0890.jpeg)
![58e849042a1d5517bf2d12549034238a.png](https://i-blog.csdnimg.cn/blog_migrate/4801879cdee3f583ad053d3e667c6300.jpeg)
![28a2bc0c7a6c352aa97385701ff9dcbf.png](https://i-blog.csdnimg.cn/blog_migrate/85c672dc9accf2d6eb1d177c9017545f.jpeg)
![2ba2d9cc554b50e2609254221b66c34c.png](https://i-blog.csdnimg.cn/blog_migrate/bcfca68f074560700a185969fff5ecce.jpeg)
![7ff51f06007d93cf031dd81ebb3bcca6.png](https://i-blog.csdnimg.cn/blog_migrate/c883f751f1923451328705c8e7df8240.jpeg)
![0877f0b65ee7bcddbe15788db2b51ef2.png](https://i-blog.csdnimg.cn/blog_migrate/25aeeca88da38a90fe3d6b6cb3b89cb8.jpeg)
![81a20cdeb404b4ee001ed89a87218289.png](https://i-blog.csdnimg.cn/blog_migrate/85adc175893bff3a49419986c7832426.jpeg)
![28c847e2c35433ebd5cc782dc743737f.png](https://i-blog.csdnimg.cn/blog_migrate/e10c5fdd15a5886e1d4b844e874f8b8d.jpeg)
![c10a838e10936824f6727d57b3ecbff3.png](https://i-blog.csdnimg.cn/blog_migrate/d4197aae4be099b969f582f94b7b75d4.jpeg)
![4d33aec6bf390f2736558a5cfc620920.png](https://i-blog.csdnimg.cn/blog_migrate/e0a07ecf076978749b8555fb1fd2657a.jpeg)
![c8197d455b4a6f0a55f66d451d061a4a.png](https://i-blog.csdnimg.cn/blog_migrate/fa60fd0b1747c3a0a31b72272921229b.jpeg)
![cc0d7802d7bf2d37a4b7822dbaa62b0c.png](https://i-blog.csdnimg.cn/blog_migrate/090da9c4083c1fe9dc0906c3ff7cc185.jpeg)
![35df997ee9e604624cd689dc78c00a89.png](https://i-blog.csdnimg.cn/blog_migrate/9341820679e5356e265e0c5b26a9cfce.jpeg)
![5d60454045e10b091b264f167b2a80ed.png](https://i-blog.csdnimg.cn/blog_migrate/1bbde5a1492ed59d3171ead8a97bd303.jpeg)
![f35bcd69966532857a9808d8562282a5.png](https://i-blog.csdnimg.cn/blog_migrate/cc7df353cb011b874eb1cf1568415af3.jpeg)
![cd72d9e7cbad983e738497427d93cc93.png](https://i-blog.csdnimg.cn/blog_migrate/7de769b40a146775813daba51f25b611.jpeg)
![04d5af57a4370fe79f6d49fcb085023f.png](https://i-blog.csdnimg.cn/blog_migrate/9a6bb132508ac54480420b1e9ab7208b.jpeg)
![909082a9bab84819deb2aa9d12bc7c84.png](https://i-blog.csdnimg.cn/blog_migrate/547b2beb63368a1a3aca19e9ef26b834.jpeg)
![8941b71b37f6768906ca397500933064.png](https://i-blog.csdnimg.cn/blog_migrate/502da4c4a92744ef94a01a63a58c05ba.jpeg)
![047537f8ab4ae298f72587db114e4d4d.png](https://i-blog.csdnimg.cn/blog_migrate/878878e4e86dcef4369ba58ca697901e.jpeg)
![b550023a48e439f01fdf3418a4c507c5.png](https://i-blog.csdnimg.cn/blog_migrate/b188f45904bf21c4295cc5497038dbc3.jpeg)
![b06daea9f3804ef4f53b6a358628236a.png](https://i-blog.csdnimg.cn/blog_migrate/d3ad7231234c458d14498f07769e01ac.jpeg)
![44848b212e3ef39e04c4f0e799d2f5f5.png](https://i-blog.csdnimg.cn/blog_migrate/998ea6eb0a0cace390b071c228d5e994.jpeg)
![1e9f1e5f4823015167dc4e181add1fcb.png](https://i-blog.csdnimg.cn/blog_migrate/e4e21bd23adfc2135593b819f9899328.jpeg)
![8f5338a1e28c4db562fe13983a269abf.png](https://i-blog.csdnimg.cn/blog_migrate/f1224ff10a911e40efb645bde4453787.jpeg)
![5f4d297d268b4500040adc0477c37fc6.png](https://i-blog.csdnimg.cn/blog_migrate/2a2f45ee69d4c9b8f6770a7a48ee44f6.jpeg)
![7893a92d066fea3eacfa9ceba40ce5e2.png](https://i-blog.csdnimg.cn/blog_migrate/34888b6c37f43a77945513a34d367919.jpeg)
![9256a67d57c5aa3050e85378bb453b02.png](https://i-blog.csdnimg.cn/blog_migrate/37a2ffacc6aaf249ce897307148ef071.jpeg)
![6eb6181dd299993eaf7b90882b137d37.png](https://i-blog.csdnimg.cn/blog_migrate/36e409eb51052352b5918e4772a394af.jpeg)
![4ef437798928952199590d393b98b982.png](https://i-blog.csdnimg.cn/blog_migrate/eb921d75b44fafb7f8ffb0bfc54d44b6.jpeg)
![c12f248d3633ceeff590fe858d8ad59d.png](https://i-blog.csdnimg.cn/blog_migrate/5ce055e2b6f4041c12865959a3660b24.jpeg)
![99063929f2cd02ab8ba061d2deb1f3d8.png](https://i-blog.csdnimg.cn/blog_migrate/f4d77ffed854240b8a6f6d04352ae690.jpeg)
![da13ad2d5c3e8b8db83bf2424ae90f3a.png](https://i-blog.csdnimg.cn/blog_migrate/d255c8f72db0f83a6c1138b17b242990.jpeg)
![33e395f9efb89f77f22b48be187e52ce.png](https://i-blog.csdnimg.cn/blog_migrate/89f86edc3389d5b5b870216a428919ca.jpeg)
![ce2ed6b4308e32d9475e1f4315c2df23.png](https://i-blog.csdnimg.cn/blog_migrate/b4fc1b931c8561a791e8a06591cdd3ac.jpeg)
![5284447e535bccc01e9bf9a342908deb.png](https://i-blog.csdnimg.cn/blog_migrate/9a99a4df14f950a81b0b0d7b9d72a8fe.jpeg)
![dbcd48b81dbc0af1cab2abb5cfa4af18.png](https://i-blog.csdnimg.cn/blog_migrate/c1668c14d011bcfbf069c4fc217979a3.jpeg)
![4f53426360e487c10cd0fdc516fb3d52.png](https://i-blog.csdnimg.cn/blog_migrate/2e93666a85f148b1f0bedcad6dc4a5ac.jpeg)
![a5ad5d01d304371b46680d0350705575.png](https://i-blog.csdnimg.cn/blog_migrate/df39a26fbbf2c80eed1d16bc4dda79ff.jpeg)
![63ca97db6eb2d487230e9ff25b2a8c81.png](https://i-blog.csdnimg.cn/blog_migrate/8c847ec4e3bdc10fc2ccc9bace418c62.jpeg)
![d1538f98603c5f1d50d0197a1fe3d15c.png](https://i-blog.csdnimg.cn/blog_migrate/dab9c0ac81e3bcbb4b5901354c595ca9.jpeg)
![6b557123b0edcc13758cbf81556d6c85.png](https://i-blog.csdnimg.cn/blog_migrate/21d7f4bc09b204a1614b62a692d1f2d8.jpeg)
![1aa1c2a82fb55555db1ec2c283507016.png](https://i-blog.csdnimg.cn/blog_migrate/2d57329b9fcd65954471af1db158e829.jpeg)
![784f8fb528a6a7c9551926e829d93037.png](https://i-blog.csdnimg.cn/blog_migrate/d05354b73f025d7f39687accaa9c2867.jpeg)
![dd8bf776edc1aa83e7579d15a1b926b6.png](https://i-blog.csdnimg.cn/blog_migrate/44e63f595e34ef138aa656e7308faad4.jpeg)
![02bc1fface13db718334441cd526823a.png](https://i-blog.csdnimg.cn/blog_migrate/6bc9d0a4fc5745810b3ae90aa087ec0d.jpeg)
![3f3a23ab3930579d97bc3804d37c7f5b.png](https://i-blog.csdnimg.cn/blog_migrate/22c35b510452809c9b396a069db0232e.jpeg)
![60816e0074f59e83133fcfd24926bea0.png](https://i-blog.csdnimg.cn/blog_migrate/9d4dac3c65f1194d682e1c320c020fe8.jpeg)
![30ab41821f538db39219995ccb556de5.png](https://i-blog.csdnimg.cn/blog_migrate/ee47120b6d98123ad4d0c250358f99ef.jpeg)
![0566bbf179f5ba265e94fe7a9d733fcc.png](https://i-blog.csdnimg.cn/blog_migrate/6d91aa75d96d4f2953d87cc3a8dc51ac.jpeg)
![803e6bc6dbe1a9c7cf88f2c1cd2a2354.png](https://i-blog.csdnimg.cn/blog_migrate/1fffc0a74b5f409c5eb83682c282d137.jpeg)
![37a99820b1b1756e5c6a3bd01dae0ad6.png](https://i-blog.csdnimg.cn/blog_migrate/61143bcad1b48d2c6d305a89631a791d.jpeg)
![5a4d66de6319e0a70b7c806aa63eebb2.png](https://i-blog.csdnimg.cn/blog_migrate/014ad82a178a622de59a6d971cb3875b.jpeg)
![3f327a83c44c6ca6ac6483e59bd137f9.png](https://i-blog.csdnimg.cn/blog_migrate/55f350899f6c36e88fdcd0df2beb1ece.jpeg)
![79fd32972f976817f2db77ef7e0137e2.png](https://i-blog.csdnimg.cn/blog_migrate/46758d1412cea9e827d1451dcb0a0ce3.jpeg)
![f1f3c820b42f9df86f7e881266420913.png](https://i-blog.csdnimg.cn/blog_migrate/1d7f27c5a1aefaa9fb45523f6cbf9406.png)
![f52e3f665bfa78987438210e08be8a95.png](https://i-blog.csdnimg.cn/blog_migrate/3fb96260c831995130e2c1e3be36ed96.jpeg)
![9f3ec2e16d1c47ad46f4df2f02e69b39.png](https://i-blog.csdnimg.cn/blog_migrate/4564e2b50616e6c50f92a8fa89bd54c5.jpeg)
![72a52b4d549ff8f7aa7fde3ae618ad49.png](https://i-blog.csdnimg.cn/blog_migrate/95a578b556f6b3c62ef502d9f82ee560.jpeg)
![88a3c86db73b49b2af2e11b7ff4ec3ea.png](https://i-blog.csdnimg.cn/blog_migrate/5bf89a65642ff9d418789abd4f16f5b7.jpeg)
![fe50daeb07da8ceadc0a2007b8c31d7e.png](https://i-blog.csdnimg.cn/blog_migrate/8a134337d6126e6cab94703aa377a781.jpeg)
![2d5895784785961d5bbfafaa0f5d8043.png](https://i-blog.csdnimg.cn/blog_migrate/97bcbf229f74681c92caaabf281e298c.jpeg)
![50d6a4ba22c370e0bc046c2fc8e01ff3.png](https://i-blog.csdnimg.cn/blog_migrate/4cebc22a49d4fe1723b5193ea2dd4a99.jpeg)
![040cba2b667a31e967c6814889e351b0.png](https://i-blog.csdnimg.cn/blog_migrate/26550145dba9cf5c5be35dd5419c169f.jpeg)
![ecd3f1e00a613b4a1139ee2d34aeeed8.png](https://i-blog.csdnimg.cn/blog_migrate/532de16d3d51da8748d0b1b25257aa05.jpeg)
![290634b64e045be356eaa56a0d1ed825.png](https://i-blog.csdnimg.cn/blog_migrate/7ef6a357904ae67663f77acbe9787b51.jpeg)
![e59bb8ba6c5dc0c6be81db3a7f1c90a9.png](https://i-blog.csdnimg.cn/blog_migrate/a977408e564b00104cff75f6028cfe4a.png)
![b7c8fcc0ae9427cd0d98b419bf33cd31.png](https://i-blog.csdnimg.cn/blog_migrate/53d175017adf0c7244c78a99538df3c1.jpeg)
![fe420c78120cd9bd9d87497e71c7b9a3.png](https://i-blog.csdnimg.cn/blog_migrate/3c8b6a84c89c631bb10c3770a2ee25c6.jpeg)
![72df663240fcbc8bef0cf506e34e865a.png](https://i-blog.csdnimg.cn/blog_migrate/6e63248858608364ddf2efeacdab319a.jpeg)
![16554e8f34f7284380eaca5a8e7af596.png](https://i-blog.csdnimg.cn/blog_migrate/4d3aeec1fb30722aeb868a327fcc4986.jpeg)
![ef7c29c7a3981c3f0c7ed53c115a59ac.png](https://i-blog.csdnimg.cn/blog_migrate/b4ef06132286ce858fa1f710d68c23c4.jpeg)
![de618d17d6a2b430589792ac92816ac7.png](https://i-blog.csdnimg.cn/blog_migrate/ba2b4510ea25217f0897f13ffd6febe8.jpeg)
![795dc000a0aaa938c7d3e69c4089c284.png](https://i-blog.csdnimg.cn/blog_migrate/2b2d08e8287eaf7ff38603753dbe8938.jpeg)
![b62e1cc1a0f071bc95f17bfac4eefc50.png](https://i-blog.csdnimg.cn/blog_migrate/abefe6c737fca7d916eac12461c8ec69.jpeg)
![944c4fd25926ecd36b1fff7271ed0460.png](https://i-blog.csdnimg.cn/blog_migrate/d66a65eaad78d3f9912d4efeac78cd7b.jpeg)
![9a6450b62890a924dd0d1efba4ed17b5.png](https://i-blog.csdnimg.cn/blog_migrate/c63151f514f0f108237d7d03900953c4.jpeg)
![e789f91db0d0647ab15d47799da2388e.png](https://i-blog.csdnimg.cn/blog_migrate/0dd323c2cd7987457fce7015707c3c69.jpeg)
![21b9b0b263e7178f56d65c40c0a0942e.png](https://i-blog.csdnimg.cn/blog_migrate/5d635ffa68f84f9ce7182ea1037d455e.jpeg)
![ff8d8e29275a32de0e748b7bfa5b0a51.png](https://i-blog.csdnimg.cn/blog_migrate/5da9d7fca165d9ec30fad70d4f28a80a.jpeg)
![f6d7ec0acb126c0c44ca7ac6c9f9ea7d.png](https://i-blog.csdnimg.cn/blog_migrate/8f3ee08e856a665d7756304f58f4690d.jpeg)
![95c8e67a29c7f38c5a56f940c6c81ff1.png](https://i-blog.csdnimg.cn/blog_migrate/dc6ad21752c6986110ca4a2c520feade.jpeg)
![55bd369ae69730e30df005833185a101.png](https://i-blog.csdnimg.cn/blog_migrate/ba87314c981a32119aff0ae471f20a47.jpeg)
![3efc3b919c496ba815d2c7d235523074.png](https://i-blog.csdnimg.cn/blog_migrate/f16da4cff4658fb09f265caa0da5a463.jpeg)
![55b3b383a117f4e65c3c49b175fdc675.png](https://i-blog.csdnimg.cn/blog_migrate/3bd0eef8ca5b870a2de94063bbba2b64.jpeg)
![5d802d9df057f0268d496d371c1814d4.png](https://i-blog.csdnimg.cn/blog_migrate/d65c27a6d23cd0c8449b8a7d4f139239.jpeg)
![9035fb0fb477230b8d9fcd66713f9214.png](https://i-blog.csdnimg.cn/blog_migrate/930aeeffc3774de01602b57c2af9e08e.jpeg)
![d8dedb0411bda3736f2cb093aade26e5.png](https://i-blog.csdnimg.cn/blog_migrate/214ea08fbc8408f839d370ed30a3986f.jpeg)
![3571f6179b8c91a4a7ae8d6c65f09746.png](https://i-blog.csdnimg.cn/blog_migrate/8f8b0cddc49cb0773472aeadccb6d1db.jpeg)
![feadd8bff2c7f0cba71fe6f081630bf9.png](https://i-blog.csdnimg.cn/blog_migrate/c5ea291f779d65db1d928cca1f7a5e0f.jpeg)
![548410fb7f0c9f1c510e9099f296a4ca.png](https://i-blog.csdnimg.cn/blog_migrate/25130f687efe765bb69c583301035cc3.jpeg)
![36f4116234bde0848334f5661f7f21c2.png](https://i-blog.csdnimg.cn/blog_migrate/591f801105d9f05d0fa678744e7a5d2a.jpeg)
![f513d40523044cc9e17e520ef718b3a2.png](https://i-blog.csdnimg.cn/blog_migrate/d60cc1bbd1361ac28c94dbdb6c838d2b.jpeg)
![e465dea1d0427e2bc1daf660c23a2bf7.png](https://i-blog.csdnimg.cn/blog_migrate/21ccfa63ced0be51a662e63042b9507b.jpeg)
![24a10a07138d4d16272c6ca7ed5f5e8f.png](https://i-blog.csdnimg.cn/blog_migrate/0d726479a22b980b46f6c1596e101c15.jpeg)
![70dde279ab3a3aceb8f6b41e4c145221.png](https://i-blog.csdnimg.cn/blog_migrate/0ca4c82a74f60dcf10094bca73b111a6.jpeg)
![30351204c300be3ffd11839eb9de9a0d.png](https://i-blog.csdnimg.cn/blog_migrate/45b040d31f4f8ea6a137553ee4e3fafc.jpeg)
![fcdca6c1fd5b33a30d063f61cf4bfd92.png](https://i-blog.csdnimg.cn/blog_migrate/9693bcbb59038080ea423810dcfb7210.jpeg)
![8f30981ef226b695f9ed86a34d0847e7.png](https://i-blog.csdnimg.cn/blog_migrate/206cfcc8b679839ff87cde30da439611.jpeg)
![af4c32e983474f3e9d0fb72ef0d1f406.png](https://i-blog.csdnimg.cn/blog_migrate/95d6a1f00ea74cec0784a8b0041a3ff1.jpeg)
![cec55e8c376e59ca53fa1e2c90561e87.png](https://i-blog.csdnimg.cn/blog_migrate/0a0b65abbd858e144f6fd942fbce6e10.jpeg)
![75baf944565bc037709de9f423c74a46.png](https://i-blog.csdnimg.cn/blog_migrate/c0b594275b881108e11fc8f6168a836c.png)