机器学习/深度学习资料
一. 入门资料
AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL
数学基础
机器学习基础
快速入门
- 推荐顺序由前到后
- 机器学习算法地图
- 机器学习 吴恩达 Coursera个人笔记 && 视频(含官方笔记)
- CS229 课程讲义中文翻译 && 机器学习 吴恩达 cs229个人笔记 && 官网(笔记) && 视频(中文字幕)
- 百页机器学习
深入理解
深度学习基础
快速入门
- 推荐顺序由前到后
- 深度学习思维导图 && 深度学习算法地图
- 《斯坦福大学深度学习基础教程》 Andrew Ng(吴恩达)
- 深度学习 吴恩达 个人笔记 && 视频
- MIT深度学习基础-2019视频课程
- 台湾大学(NTU)李宏毅教授课程
- 图解深度学习_Grokking-Deep-Learning
- 《神经网络与深度学习》 Michael Nielsen
- CS321-Hinton
- CS230: Deep Learning
- CS294-112
计算机视觉
自然语言处理
深度强化学习
深入理解
- 《深度学习》 Yoshua Bengio.Ian GoodFellow⭐️
- 《自然语言处理》Jacob Eisenstein
- 《强化学习》 && 第二版
- hangdong的深度学习博客,论文推荐
- Practical Deep Learning for Coders, v3
- 《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇
一些书单
工程能力
- LeetCode && leetcode题解 && 《算法导论》中算法的C++实现
- 机器学习算法实战
- 深度学习框架
- 如何成为一名算法工程师 && 从小白到入门算法,我的经验分享给你~ && 我的研究生这三年 ⭐️
- 《AI算法工程师手册》
- 如何准备算法工程师面试,斩获一线互联网公司机器学习岗offer?
- 【完结】深度学习CV算法工程师从入门到初级面试有多远,大概是25篇文章的距离
- 计算机相关技术面试必备 && 面试算法笔记-中文
- 算法工程师面试
- 深度学习面试题目
- 深度学习500问
- AI算法岗求职攻略
- Kaggle实战
- 常用算法:
- Feature Engineering:continue variable && categorical variable
- Classic machine learning algorithm:LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network
- Cross validation, model selection:grid search, random search, hyper-opt
- Ensemble learning
- Kaggle 项目实战(教程) = 文档 + 代码 + 视频
- Kaggle入门系列:(一)机器学习环境搭建 && Kaggle入门系列:(二)Kaggle简介 && Kaggle入门系列(三)Titanic初试身手
- 从 0 到 1 走进 Kaggle
- Kaggle 入门指南
- 一个框架解决几乎所有机器学习问题 && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur
- 分分钟带你杀入Kaggle Top 1%
- 如何达到Kaggle竞赛top 2%?这里有一篇特征探索经验帖
- 如何在 Kaggle 首战中进入前 10%?
- 常用算法:
- 大数据&机器学习相关竞赛推荐
二. 神经网络模型概览
- 1. 一文看懂25个神经网络模型
- 2. DNN概述论文:详解前馈、卷积和循环神经网络技术
- 3. colah’s blog
- 4. Model Zoom
- 5. DNN概述
- 6. 从基本原理到梯度下降,小白都能看懂的神经网络教程
- GitHub上的机器学习/深度学习综述项目合集
CNN
发展史
-
深度学习笔记(十一)网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv
-
后 R-CNN时代, Faster R-CNN、SSD、YOLO 各类变体统治下的目标检测综述:Faster R-CNN系列胜了吗?
-
目标检测算法综述三部曲
-
人脸检测和识别算法综述
-
Anchor-Free目标检测算法: 第一篇:arxiv2015_baidu_DenseBox, 如何评价最新的anchor-free目标检测模型FoveaBox?, FCOS: 最新的one-stage逐像素目标检测算法 && 最新的Anchor-Free目标检测模型FCOS,现已开源! && 中科院牛津华为诺亚提出CenterNet,one-stage detector可达47AP,已开源! && AnchorFreeDetection
教程
- 卷积神经网络工作原理
- 「七夕的礼物」: 一日搞懂卷积神经网络
- A Comprehensive Introduction to Different Types of Convolutions in Deep Learning && 翻译:上、下
- 变形卷积核、可分离卷积
- 对深度可分离卷积、分组卷积、扩张卷积、转置卷积(反卷积)的理解
- 各种卷积
- 卷积有多少种?一文读懂深度学习中的各种卷积
- 反卷积
- Convolution Network及其变种(反卷积、扩展卷积、因果卷积、图卷积)
- 如何评价最新的Octave Convolution?
- 深度学习基础–卷积类型
- Dilated/Atrous conv 空洞卷积/多孔卷积
- CNN模型之ShuffleNet
- 一文简述ResNet及其多种变体
- ResNet解析
- 将CNN引入目标检测的开山之作:R-CNN
- 深度学习(十八)基于R-CNN的物体检测
- R-CNN论文详解
- 深度学习(六十四)Faster R-CNN物体检测
- 先理解Mask R-CNN的工作原理,然后构建颜色填充器应用
- 实例分割–Mask RCNN详解(ROI Align / Loss Function)
- 语义分割卷积神经网络快速入门
- 图像语义分割的工作原理和CNN架构变迁
- CapsNet入门系列
- YOLO
- 目标检测|YOLOv2原理与实现(附YOLOv3)
- 目标检测模型YOLO v3问世
- Attention, 1,2,3,4,5
- 一文读懂卷积神经网络中的1x1卷积核
- 目标检测之CornerNet, 1, 2, 3
- 目标检测的性能评价指标 && NMS和计算mAP时的置信度阈值和IoU阈值 && 白话mAP
- 人群计数, 1, 2, 3
- RelationNetwork
- ShuffleNet V2和四个网络架构设计准则
- 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
- Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积?
- 【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?
- 【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的?
- 何恺明大神的「Focal Loss」,如何更好地理解?
- CNN 模型所需的计算力(flops)和参数(parameters)数量是怎么计算的?
Action
- 先读懂CapsNet架构然后用TensorFlow实现
- TensorFlow Object Detection API 教程
- 在TensorFlow+Keras环境下使用RoI池化一步步实现注意力机制
- mxnet如何查看参数数量 && mxnet查看FLOPS
GAN
发展史
- 千奇百怪的GAN变体
- The GAN Landscape:Losses, Architectures, Regularization, and Normalization
- 深度学习新星:GAN的基本原理、应用和走向
- GAN生成图像综述
教程
- 1. GAN原理学习笔记
- 2. 极端图像压缩的对抗生成网络
- \3. 台湾大学李宏毅GAN教程
- 4. 2017年GAN 计算机视觉相关paper汇总
- 5. 在Keras上实现GAN:构建消除图片模糊的应用
- 6. CycleGAN:图片风格,想换就换 | ICCV 2017论文解读
- 7. Wasserstein GAN
- 用变分推断统一理解生成模型(VAE、GAN、AAE、ALI)
Action
RNN
发展史
教程
- 完全图解RNN、RNN变体、Seq2Seq、Attention机制
- 循环神经网络(RNN, Recurrent Neural Networks)介绍
- RNN以及LSTM的介绍和公式梳理
- 深度学习其五 循环神经网络
- 用循环神经网络进行文件无损压缩:斯坦福大学提出DeepZip
- 吴恩达序列建模课程
- Word2Vec
- 聊聊 Transformer
Action
- tensorflow中RNNcell源码分析以及自定义RNNCell的方法
- TensorFlow中RNN实现的正确打开方式
- TensorFlow RNN 代码
- Tensorflow实现的深度NLP模型集锦
- nlp-tutorial
LSTM
教程
-
\4. 翻译:深入理解LSTM系列
Action
GNN
发展史
- Graph Neural Network(GNN)综述
- 深度学习时代的图模型,清华发文综述图网络
- 清华大学图神经网络综述:模型与应用
- 图神经网络概述第三弹:来自IEEE Fellow的GNN综述
- GNN最全文献资料整理 && Awesome-Graph-Neural-Networks
教程
Action
三. 深度模型的优化
- 1. 优化算法纵览
- 2. 从梯度下降到Adam
- 3. 从梯度下降到拟牛顿法:盘点训练神经网络的五大学习算法
- \4. 正则化技术总结
- 5. 最优化算法系列(math)
- 6. 神经网络训练中的梯度消失与梯度爆炸
- 7. 神经网络的优化及训练
- 8. 通俗讲解查全率和查准率, 全面梳理:准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1
- 9. 激活函数一览
- 10. Coursera吴恩达《优化深度神经网络》课程笔记(3)-- 超参数调试、Batch正则化和编程框架
- 11. 机器学习各种熵
- 12. 距离和相似性度量
- 13. 机器学习里的黑色艺术:normalization, standardization, regularization
- 14. LSTM系列的梯度问题
- 15. 损失函数整理
- 16. 详解残差块为何有助于解决梯度弥散问题
- 17. FAIR何恺明等人提出组归一化:替代批归一化,不受批量大小限制
- 18. Batch Normalization(BN):1 ,2 ,3 ,4 , 5, 6, 7
- 19. 详解深度学习中的Normalization,不只是BN && 如何区分并记住常见的几种 Normalization 算法
- 20. BFGS
- 21. 详解深度学习中的梯度消失、爆炸原因及其解决方法
- 22. Dropout, 1, 2, 3
- 23.谱归一化(Spectral Normalization)的理解,常见向量范数和矩阵范数,谱范数正则(Spectral Norm Regularization)的理解
- 24.L1正则化与L2正则化
- 25.为什么选用交叉熵而不是MSE
四. 炼丹术士那些事
调参经验
- 训练的神经网络不工作?一文带你跨过这37个坑
- 神经网络训练trick
- 深度学习与计算机视觉系列(8)_神经网络训练与注意点
- 神经网络训练loss不下降原因集合
- 深度学习:欠拟合问题的几种解决方案 &&过拟合和欠拟合问题
- 机器学习:如何找到最优学习率及实现
- 不平衡数据集处理方法: 其一, 其二, 其三
- 同一个神经网络使用不同激活函数的表达能力是否一致
- 梯度下降优化算法纵览, 1, 2
- 论文笔记之数据增广:mixup
- 避坑指南:数据科学家新手常犯的13个错误
- 凭什么相信CNN的结果?–可视化
- 大卷积核还是小卷积核? 1, 2
- 模型可解释性差?你考虑了各种不确定性了吗?
- 炼丹笔记系列
刷排行榜的奇技淫巧
图像分类
- 炼丹笔记三:数据增强 && 数据增强(Data Augmentation)
- 【技术综述】 深度学习中的数据增强(上) && 【技术综述】深度学习中的数据增强(下)
- 《Bag of Tricks for Image Classification with CNN》&& pdf
- 神经网络训练trick
- Kaggle解决方案分享
目标检测
- ensemble
- deformable
- sync bn
- ms train/test
- 目标检测任务的优化策略tricks
- 目标检测小tricks–样本不均衡处理
- 目标检测算法中的常见trick
- Kaggle:肺癌自动诊断系统3D Deep Leaky Noisy-or Network 论文阅读
- 干货|大神教你如何参加kaggle比赛——根据CT扫描图预测肺癌
五. 年度总结
六. 科研相关
深度学习框架
Python3.x(先修)
Numpy(先修)
Opencv-python
- OpenCV-Python Tutorials
- OpenCV官方教程中文版(For Python)
- 数字图像处理系列
- python+OpenCV图像处理
- 给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV
Pandas
Tensorflow
- 如何高效地学习 TensorFlow 代码
- 中文教程
- TensorFlow官方文档
- CS20:Tensorflow for DeepLearning Research
- 吴恩达TensorFlow专项课程
- 【干货】史上最全的Tensorflow学习资源汇总
- 《21个项目玩转深度学习———基于TensorFlow的实践详解》
- 最全Tensorflow2.0 入门教程持续更新
MXNet
PyTorch
- Pytorch版动手学深度学习
- PyTorch中文文档
- WELCOME TO PYTORCH TUTORIALS
- 史上最全的PyTorch学习资源汇总
- 【干货】史上最全的PyTorch学习资源汇总
- Hands-on tour to deep learning with PyTorch
Python可视化
- Top 50 matplotlib Visualizations – The Master Plots (with full python code)
- Python之MatPlotLib使用教程
- 十分钟上手matplotlib,开启你的python可视化
- 给深度学习入门者的Python快速教程 - numpy和Matplotlib篇
标注工具
数据集
- 1. 25个深度学习相关公开数据集
- 2. 自然语言处理(NLP)数据集
- 3.全唐诗(43030首)
- 4. 伯克利大学公开数据集
- 5. ACL 2018资源:100+ 预训练的中文词向量
- 6. 预训练中文词向量
- 7. 公开数据集种子库
- 8. 计算机视觉,深度学习,数据挖掘数据集整理
- 9. 计算机视觉著名数据集CV Datasets
- 10. 计算机视觉相关数据集和比赛
- 11. 这是一份非常全面的开源数据集,你,真的不想要吗?
- 12. 人群密度估计现有主要数据集特点及其比较
- 13. DANBOORU2017: A LARGE-SCALE CROWDSOURCED AND TAGGED ANIME ILLUSTRATION DATASET
- 14. 行人重识别数据集
- 15. 自然语言处理常见数据集、论文最全整理分享
- 16. paper, code, sota
- 17. 旷视RPC大型商品数据集发布!
- 18. CVPR 2019「准满分」论文:英伟达推出首个跨摄像头汽车跟踪数据集(汽车Re-ID)
- 19.【OCR技术】大批量生成文字训练集
- 20. 语义分析数据集-MSRA
会议列表
论文写作工具
论文画图工具
- Visio2016
- Matplotlib
论文写作教程
- 刘知远_如何写一篇合格的NLP论文
- 刘洋_如何写论文_V7
- 如何端到端地写科研论文-邱锡鹏
- 论文Introduction写作其一, 论文Introduction写作其二, 论文Introduction写作其三
- 毕业论文怎么写
ResearchGo
- ResearchGo:研究生活第一帖——文献检索与管理
- ResearchGo:研究生活第二贴——文献阅读
- ResearchGo:研究生活第三帖——阅读辅助
- ResearchGo:研究生活第四帖——文献调研
- ResearchGo:研究生活第五帖——文献综述
- ResearchGo:研究生活第六帖——如何讲论文
- ResearchGo:研究生活第七帖——专利检索与申请
- ResearchGo:研究生活第八帖——写论文、做PPT、写文档必备工具集锦