深度学习-机器学习从入门到深入全套资源分享

    深度学习、机器学习从入门到深入，全套资源分享。涉及深度学习、机器学习数学、算法基础理论、实战和工程开发相关最佳资源。深度学习常用模型相关教程，深度学习模型优化、调参相关技巧；深度学习常用的框架，公开数据集、国际顶级会议等相关资源。

    本文内容整理自网络，原文地址：https://github.com/Mikoto10032/DeepLearning

一. 入门资料

完备的 AI 学习路线，最详细的中英文资源整理 ⭐️

    AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL

    数学基础

 机器学习基础

 快速入门

        推荐顺序由前到后

        机器学习算法地图

        机器学习 吴恩达 Coursera个人笔记  && 视频（含官方笔记）  

        百页机器学习

        机器学习 吴恩达 cs229个人笔记 && 官网（笔记）  && 视频（中文字幕）  

深入理解

        推荐顺序由前到后

        《模式识别与机器学习》 Christopher Bishop

        《机器学习》 周志华

        《机器学习实战》 PelerHarrington

        机器学习与深度学习书单

深度学习基础

 快速入门

        推荐顺序由前到后

        深度学习思维导图 && 深度学习算法地图

        《斯坦福大学深度学习基础教程》 Andrew Ng（吴恩达）

        深度学习 吴恩达 个人笔记  && 视频

        MIT深度学习基础-2019视频课程

        台湾大学（NTU）李宏毅教授课程

        图解深度学习_Grokking-Deep-Learning

        《神经网络与深度学习》 Michael Nielsen    

        CS321-Hinton

        CS230: Deep Learning

        CS294-112

 计算机视觉

        CS231 李飞飞 已授权个人翻译笔记 && 视频

        计算机视觉研究方向

   自然语言处理

        CS224n: Natural Language Processing with Deep Learning

        NLP上手教程

        NLP入门推荐书目（2019版）

   深度强化学习

        CS234: Reinforcement Learning

    深入理解

        《深度学习》 Yoshua Bengio.Ian GoodFellow

    ⭐️

        《自然语言处理》Jacob Eisenstein

        《强化学习》 && 第二版

        hangdong的深度学习博客,论文推荐

        Practical Deep Learning for Coders, v3

        《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇

一些书单

        2019年最新-深度学习、生成对抗、Pytorch优秀教材推荐

  工程能力

        LeetCode && leetcode题解 && 《算法导论》中算法的C++实现

        机器学习算法实战

        深度学习框架

        如何成为一名算法工程师 && 从小白到入门算法，我的经验分享给你～ && 我的研究生这三年 

        ⭐️

        《AI算法工程师手册》

        【完结】深度学习CV算法工程师从入门到初级面试有多远，大概是25篇文章的距离

        计算机相关技术面试必备

        算法工程师面试

        深度学习面试题目

        深度学习500问

        AI算法岗求职攻略

        Kaggle实战

    Feature Engineering：continue variable && categorical variable

    Classic machine learning algorithm：LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network

    Cross validation, model selection：grid search, random search, hyper-opt

    Ensemble learning

    常用算法：

        Kaggle 项目实战（教程） = 文档 + 代码 + 视频

        Kaggle入门系列：（一）机器学习环境搭建 && Kaggle入门系列：（二）Kaggle简介 && Kaggle入门系列（三）Titanic初试身手

        从 0 到 1 走进 Kaggle

        Kaggle 入门指南

        一个框架解决几乎所有机器学习问题 && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur

        分分钟带你杀入Kaggle Top 1%

        如何达到Kaggle竞赛top 2%？这里有一篇特征探索经验帖

        如何在 Kaggle 首战中进入前 10%？

大数据&机器学习相关竞赛推荐

二. 神经网络模型概览

    1. 一文看懂25个神经网络模型

    2. DNN概述论文：详解前馈、卷积和循环神经网络技术

    3. colah's blog

    4. Model Zoom

    5. DNN概述

    6. 从基本原理到梯度下降，小白都能看懂的神经网络教程

    GitHub上的机器学习/深度学习综述项目合集

   CNN

  发展史

        1. 94页论文综述卷积神经网络：从基础技术到研究前景

        2. 从LeNet-5到DenseNet

        3. CNN图像分割简史：从R-CNN到Mask R-CNN（译）

        4. 深度学习之目标检测的前世今生（Mask R-CNN）

        5. 纵览轻量化卷积神经网络：SqueezeNet、MobileNet、ShuffleNet、Xception

        6. 深度学习目标检测模型全面综述：Faster R-CNN、R-FCN和SSD

        7. 图像语义分割(Semantic segmentation) Survey

        7. 从RCNN到SSD，这应该是最全的一份目标检测算法盘点

        8. 图像语义分割(Semantic segmentation) Survey * 9. 语义分割 发展综述

        深度学习分类网络

        CNN网络结构的发展

        卷积神经网络结构演变（form Hubel and Wiesel to SENet）

        从VGG到NASNet，一文概览图像分类网络

        From RCNN to YOLO：上，下

        后 R-CNN时代， Faster R-CNN、SSD、YOLO 各类变体统治下的目标检测综述：Faster R-CNN系列胜了吗？

        目标检测-20种模型的原味代码汇总

        目标检测算法综述三部曲

            基于深度学习的目标检测算法综述（一）

            基于深度学习的目标检测算法综述（二）

            基于深度学习的目标检测算法综述（三）

        如何走近深度学习人脸识别？你需要这篇超长综述 | 附开源代码

        人脸检测和识别算法综述      

            人脸检测算法综述          

            人脸检测背景介绍和发展现状

            人脸识别算法演化史

            CascadeCNN  

            MTCNN

            awesome-Face_Recognition

            异质人脸识别研究综述

            老板来了：人脸识别+手机推送，老板来了你立刻知道。&& 手把手教你用Python实现人脸识别 && 人脸识别项目，网络模型，损失函数，数据集相关总结

            基于深度学习的人脸识别技术综述 && 如何走近深度学习人脸识别？你需要这篇超长综述 && 人脸识别损失函数综述（附开源实现）

        深度学习图像超分辨率综述

        目标检测进化史

        一文看尽21篇目标检测最新论文（腾讯/Google/商汤/旷视/清华/浙大/CMU/华科/中科院等

        Anchor-Free目标检测算法: 第一篇：arxiv2015_baidu_DenseBox， 如何评价最新的anchor-free目标检测模型FoveaBox？, FCOS: 最新的one-stage逐像素目标检测算法 && 最新的Anchor-Free目标检测模型FCOS，现已开源！ && 中科院牛津华为诺亚提出CenterNet，one-stage detector可达47AP，已开源！ && AnchorFreeDetection

        目标检测算法综述之FPN优化篇

        聊聊Anchor的"前世今生"（上）

        【CVPR2019正式公布】行人重识别论文，2019 行人再识别年度进展回顾

        2019CVPR文本检测综述

        从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程

        【CVPR2019正式公布】行人重识别论文

        自然场景文本检测识别技术综述

        Awesome-Image-Colorization

        Awesome-Edge-Detection-Papers

        OCR文字处理

        awesome-point-cloud-analysis

        Graph Neural Network（GNN）综述

        小样本学习（Few-shot Learning）综述

        超全深度学习细粒度图像分析：项目、综述、教程一网打尽

    教程

        卷积神经网络工作原理

        A Comprehensive Introduction to Different Types of Convolutions in Deep Learning && 翻译：上、下

        变形卷积核、可分离卷积

        对深度可分离卷积、分组卷积、扩张卷积、转置卷积（反卷积）的理解

        各种卷积

        卷积有多少种？一文读懂深度学习中的各种卷积

        反卷积

        Convolution Network及其变种（反卷积、扩展卷积、因果卷积、图卷积）

        如何评价最新的Octave Convolution？

        深度学习基础--卷积类型

        Dilated/Atrous conv 空洞卷积/多孔卷积

        CNN模型之ShuffleNet

        一文简述ResNet及其多种变体

        ResNet解析

        将CNN引入目标检测的开山之作：R-CNN

        深度学习（十八）基于R-CNN的物体检测

        R-CNN论文详解

        深度学习（六十四）Faster R-CNN物体检测

        先理解Mask R-CNN的工作原理，然后构建颜色填充器应用

        实例分割--Mask RCNN详解(ROI Align / Loss Function)

        语义分割卷积神经网络快速入门

        图像语义分割的工作原理和CNN架构变迁

        CapsNet入门系列

            CapsNet入门系列之一：胶囊网络背后的直觉

            CapsNet入门系列之二：胶囊如何工作

            CapsNet入门系列之三：囊间动态路由算法

            CapsNet入门系列之四：胶囊网络架构

        YOLO

        目标检测|YOLOv2原理与实现(附YOLOv3)

        目标检测模型YOLO v3问世

        Attention， 1，2，3，4，5

        一文读懂卷积神经网络中的1x1卷积核

        目标检测之CornerNet, 1, 2, 3

        人群计数, 1, 2, 3

        RelationNetwork

        ShuffleNet V2和四个网络架构设计准则

        【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?

        Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？

        【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?

        【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的？

        何恺明大神的「Focal Loss」，如何更好地理解？

        CNN 模型所需的计算力（flops）和参数（parameters）数量是怎么计算的？

    Action

        先读懂CapsNet架构然后用TensorFlow实现

        TensorFlow Object Detection API 教程

            TensorFlow 对象检测 API 教程1

            TensorFlow 对象检测 API 教程2

            TensorFlow 对象检测 API 教程3

            TensorFlow 对象检测 API 教程 4

            TensorFlow 对象检测 API 教程5

        在TensorFlow+Keras环境下使用RoI池化一步步实现注意力机制

        mxnet如何查看参数数量 && mxnet查看FLOPS

   GAN

        苏剑林博客，讲解得淋漓尽致

发展史

        千奇百怪的GAN变体

        The GAN Landscape：Losses, Architectures, Regularization, and Normalization

        深度学习新星：GAN的基本原理、应用和走向

        GAN生成图像综述

   教程

        1. GAN原理学习笔记

        2. 极端图像压缩的对抗生成网络

        3. 台湾大学李宏毅GAN教程

            Basic

            Improving

        4. 2017年GAN 计算机视觉相关paper汇总

        5. 在Keras上实现GAN：构建消除图片模糊的应用

        6. CycleGAN：图片风格，想换就换 | ICCV 2017论文解读

        7. Wasserstein GAN

        用变分推断统一理解生成模型（VAE、GAN、AAE、ALI）

    Action

        1. GAN学习指南：从原理入门到制作生成Demo

        2. 机器之心GitHub项目：GAN完整理论推导与实现

  RNN

发展史

        从90年代的SRNN开始，纵览循环神经网络27年的研究进展

        教程

        完全图解RNN、RNN变体、Seq2Seq、Attention机制

        循环神经网络(RNN, Recurrent Neural Networks)介绍

        RNN以及LSTM的介绍和公式梳理

        深度学习其五 循环神经网络                      

        用循环神经网络进行文件无损压缩：斯坦福大学提出DeepZip

        吴恩达序列建模课程

            Coursera吴恩达《序列模型》课程笔记（1）-- 循环神经网络（RNN）

            Coursera吴恩达《序列模型》课程笔记（2）-- NLP & Word Embeddings

            Coursera吴恩达《序列模型》课程笔记（3）-- Sequence models & Attention mechanism

        Word2Vec

            word2vec原理(一) CBOW与Skip-Gram模型基础

            word2vec原理(二) 基于Hierarchical Softmax的模型

            word2vec原理(三) 基于Negative Sampling的模型

            用gensim学习word2vec

        聊聊 Transformer

 Action

        tensorflow中RNNcell源码分析以及自定义RNNCell的方法

        TensorFlow中RNN实现的正确打开方式

        TensorFlow RNN 代码

        Tensorflow实现的深度NLP模型集锦

    LSTM

    教程

        1. （译）理解长短期记忆(LSTM) 神经网络

        2. 一文读懂LSTM和RNN

        3. 探索LSTM：基本概念到内部结构

        4. 翻译：深入理解LSTM系列            

            深入理解 LSTM 网络 (一)

            深入理解 LSTM 网络 (二)

        LSTM

 Action

        用tensorflow LSTM如何预测股票价格

        TensorFlow的多层LSTM实践

        《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型

    GNN

  发展史

        Graph Neural Network（GNN）综述

        GNN最全文献资料整理

  教程

        如何理解 Graph Convolutional Network（GCN）

        图卷积网络(Graph Convolutional networks, GCN) 简述

        图卷积网络(GCN)新手村完全指南

   Action

        图卷积网络到底怎么做，这是一份极简的Numpy实现

        DGL

三. 深度模型的优化    

    1. 优化算法纵览

    2. 从梯度下降到Adam

    3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法

    4. 正则化技术总结

        史上最全面的正则化技术总结与分析--part1

        史上最全面的正则化技术总结与分析--part2

    5. 最优化算法系列（math）

    6. 神经网络训练中的梯度消失与梯度爆炸        

    7. 神经网络的优化及训练

    8. 通俗讲解查全率和查准率, 全面梳理：准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1

    9. 激活函数一览

    10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架

    11. 机器学习各种熵

    12. 距离和相似性度量

    13. 机器学习里的黑色艺术：normalization, standardization, regularization

    14. LSTM系列的梯度问题

    15. 损失函数整理

    16. 详解残差块为何有助于解决梯度弥散问题

    17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制

    18. Batch Normalization（BN）:1 ,2 ,3 ,4 , 5, 6, 7

    19. 详解深度学习中的Normalization，不只是BN && 如何区分并记住常见的几种 Normalization 算法

    20. BFGS

    21. 详解深度学习中的梯度消失、爆炸原因及其解决方法

    22. Dropout, 1, 2, 3

    23.谱归一化（Spectral Normalization）的理解，常见向量范数和矩阵范数，谱范数正则（Spectral Norm Regularization）的理解

    24.L1正则化与L2正则化

    25.为什么选用交叉熵而不是MSE

四. 炼丹术士那些事

   调参经验

        训练的神经网络不工作？一文带你跨过这37个坑

        神经网络训练trick

        深度学习与计算机视觉系列(8)_神经网络训练与注意点

        神经网络训练loss不下降原因集合

        深度学习：欠拟合问题的几种解决方案 &&过拟合和欠拟合问题

        机器学习：如何找到最优学习率及实现

        不平衡数据集处理方法: 其一, 其二, 其三

        同一个神经网络使用不同激活函数的表达能力是否一致

        梯度下降优化算法纵览, 1, 2

        论文笔记之数据增广：mixup

        避坑指南：数据科学家新手常犯的13个错误

        凭什么相信CNN的结果?--可视化

            凭什么相信你，我的CNN模型？（篇一：CAM和Grad-CAM)

            凭什么相信你，我的CNN模型？（篇二：万金油LIME)

            论文笔记:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

            CV：基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的表情或性别的gradcam(可视化)

        大卷积核还是小卷积核? 1, 2

        模型可解释性差？你考虑了各种不确定性了吗？

        炼丹笔记系列

            炼丹笔记一：样本不平衡问题

            炼丹笔记二：数据清洗

            炼丹笔记三：数据增强

            炼丹笔记四：小样本问题

            炼丹笔记五：数据标注

            炼丹笔记六 : 调参技巧

            炼丹笔记七：卷积神经网络模型设计

刷排行榜的奇技淫巧

        Kaggle 六大比赛最全面解析（上）

        Kaggle 六大比赛最全面解析（下）

    图像分类

        炼丹笔记三：数据增强 && 数据增强(Data Augmentation)

        【技术综述】 深度学习中的数据增强（上） && 【技术综述】深度学习中的数据增强（下）

        《Bag of Tricks for Image Classification with CNN》&& pdf

        神经网络训练trick

        Kaggle解决方案分享

            从0上手Kaggle图像分类挑战：冠军解决方案详解

            Kaggle 冰山图像分类大赛近日落幕，看冠军团队方案有何亮点

            【Kaggle冠军分享】图像识别和分类竞赛，数据增强及优化算法

            识别座头鲸，Kaggle竞赛第一名解决方案解读

            kaggle 首战拿金牌总结

            16岁高中生夺冠Kaggle地标检索挑战赛！而且竟然是Kaggle老兵

            6次Kaggle计算机视觉类比赛赛后感

            Kaggle首战斩获第三-卫星图像识别

    目标检测

        ensemble

        deformable

        sync bn

        ms train/test

        目标检测任务的优化策略tricks

        目标检测小tricks--样本不均衡处理

        目标检测算法中的常见trick

        Kaggle：肺癌自动诊断系统3D Deep Leaky Noisy-or Network 论文阅读

        干货|大神教你如何参加kaggle比赛——根据CT扫描图预测肺癌

五. 年度总结

    新年大礼包：机器之心2018高分教程合集

    CVPR2019目标检测方法进展综述

六. 科研相关

    深度学习框架

Python3.x(先修)

        The Python Tutorial

        廖雪峰Python教程

        菜鸟教程    

        给深度学习入门者的Python快速教程 - 基础篇

        Python - 100天从新手到大师

    Numpy(先修)

        Quickstart tutorial

        Numpy快速入门(Numpy 1.14 官方文档中文翻译)

        Numpy中文文档

        给深度学习入门者的Python快速教程 - numpy和Matplotlib篇

  Opencv-python

        OpenCV-Python Tutorials

        OpenCV官方教程中文版（For Python）

        数字图像处理系列

        python+OpenCV图像处理

        给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV

    Pandas

        Python 数据科学入门教程：Pandas

    Tensorflow

        如何高效地学习 TensorFlow 代码

        中文教程

        TensorFlow官方文档

        CS20:Tensorflow for DeepLearning Research

        吴恩达TensorFlow专项课程

        【干货】史上最全的Tensorflow学习资源汇总

        《21个项目玩转深度学习———基于TensorFlow的实践详解》  

        最全Tensorflow2.0 入门教程持续更新