深度学习资料_产品分析学习资料-CSDN博客

本文链接：https://blog.csdn.net/everlasting_188/article/details/76223081

==========================================================

2021/4/7 16:06

网络表示学习方法：

网络表示学习(一)--DeepWalk、LINE、Node2Vec、HARP、GraphGAN https://zhuanlan.zhihu.com/p/64991884
网络表示学习(二)--TADW、AANE、GAE、ANRL、DANE https://zhuanlan.zhihu.com/p/319315330

gitlab实现代码： https://github.com/shenweichen/GraphEmbedding

推荐经典文章解读： https://www.zhihu.com/people/yue-84-23/posts

深度学习中损失函数

Loss Function of Metric Learning（上） https://zhuanlan.zhihu.com/p/157495428
Loss Function of Metric Learning（中） https://zhuanlan.zhihu.com/p/157561982
Loss Function of Metric Learning（下） https://zhuanlan.zhihu.com/p/157737051
从最优化的角度看待Softmax损失函数 https://zhuanlan.zhihu.com/p/45014864
样本生而不等——聊聊那些对训练数据加权的方法 https://bbs.cvmart.net/articles/206/yang-ben-sheng-er-bu-deng-liao-liao-nei-xie-dui-xun-lian-shu-ju-jia-quan-de-fang-fa

==========================================================

2021/3/26 18:52

深度聚类论文代码集： https://github.com/zhoushengisnoob/DeepClustering
自动编码AutoEncoders： https://blog.csdn.net/fengdu78/article/details/104337519
github上pytorch入门： https://github.com/L1aoXingyu/pytorch-beginner

==========================================================

1、深度学习入门

1、斯坦福李飞飞教程（斯坦福CS231n—深度学习与计算机视觉） http://study.163.com/course/introduction/1003223001.htm

2、深度学习入门 https://www.zhihu.com/question/26006703

3、 hjimce的专栏 http://blog.csdn.net/hjimce/article/details/50573444

4、李飞飞深度学习CS231n中文翻译

https://zhuanlan.zhihu.com/p/21930884

5、cs224n自然语言处理

https://www.bilibili.com/video/av49994080

6、吴恩达深度学习

https://www.bilibili.com/video/BV164411m79z?from=search&seid=5271239314288521083

7、吴恩达深度学习笔记目标检测

https://www.jianshu.com/p/e08520cb9367

2、学习模型

2.1、模型与模型参数

1、bert参数量计算

BERT的参数量计算 https://www.lizenghai.com/archives/33355.html

Bert/Transformer模型的参数大小计算 https://blog.csdn.net/weixin_43922901/article/details/102602557

BERT参数量计算 https://zhuanlan.zhihu.com/p/91903871

2、RNN

RNN的输入输出以及keras参数解析 https://zhuanlan.zhihu.com/p/47412782

3、CNN和Dense

Keras CNN model parameters calculation

https://stackoverflow.com/questions/44608552/keras-cnn-model-parameters-calculation

2.2 损失函数

1、损失函数binary_crossentropy和categorical_crossentropy区别：

https://blog.csdn.net/klklklbk/article/details/106511117

2、深度学习中loss和accuracy的关系?

https://www.zhihu.com/question/264892967

2.3 embedding

Efficient Estimation of Word Representations in Vector Space https://zhuanlan.zhihu.com/p/21241739?refer=paperweekly
Tag: Continuous Bag of Words (CBOW) https://iksinc.online/tag/continuous-bag-of-words-cbow/
Word2Vec Tutorial - The Skip-Gram Model http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/

2.4 rnn

rnn训练中的batch_input_shape https://blog.csdn.net/weixin_42398658/article/details/90716908
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 https://zhuanlan.zhihu.com/p/49271699
乘风破浪的PTM：两年来预训练模型的技术进展 https://zhuanlan.zhihu.com/p/254821426
BERT详解 https://zhuanlan.zhihu.com/p/48612853
《Attention is All You Need》浅读 https://kexue.fm/archives/4765 苏剑林(bert4kars作者）系列文章都还不错
BERT---容易被忽视的细节 https://zhuanlan.zhihu.com/p/69351731
论文解读:BERT模型及fine-tuning https://zhuanlan.zhihu.com/p/46833276
The Illustrated Transformer https://jalammar.github.io/illustrated-transformer/
深度学习中的注意力模型（2017版） https://zhuanlan.zhihu.com/p/37601161

2.5 模型上线

机器学习上线（知乎） https://www.zhihu.com/question/37426733/answer/786472048
如何解决推荐系统工程难题——深度学习推荐模型线上serving？ https://zhuanlan.zhihu.com/p/77664408
tensorflow机器学习模型的跨平台上线 https://www.cnblogs.com/pinard/p/9251296.html
lightgbm模型通过pmml存储，在java中调用 https://blog.csdn.net/luoyexuge/article/details/80087952
PMML官方文档： http://dmg.org/pmml/v4-1/GeneralStructure.html

3、tf和keras官方文档

3.1 基础文档

tf官网 https://www.tensorflow.org/
keras官方文档 https://keras.io/
keras中文 https://keras.io/zh/ 中文质量稍差
keras核心api https://keras.io/api/
keras中input_shape和input_tensor区别 https://stackoverflow.com/questions/56897864/how-do-i-use-input-shape-and-input-tensor-in-transfer-learning-in-keras
keras ，model.predict的返回值 https://keras.io/guides/functional_api/#multi-input-and-multi-output-models
How to get the output shape of a layer in Keras? https://stackoverflow.com/questions/49527159/how-to-get-the-output-shape-of-a-layer-in-keras
tf2.0文档 https://blog.csdn.net/ibelieve8013/article/details/103925071
一图看懂TensorFlow2.0系列 https://blog.csdn.net/ibelieve8013/article/details/103925071
RNN对于变长序列的处理方法, 为什么RNN需要mask https://blog.csdn.net/zwqjoy/article/details/95050794

3.2 数据处理

使用tf.data.Dataset.from_tensor_slices五步加载数据集 https://blog.csdn.net/rainweic/article/details/95737315

Keras之ImageDataGenerator（图像生成）函数的应用详解 https://blog.csdn.net/wuxulong123/article/details/107391873

3.3 预训练模型

Transfer learning and fine-tuning https://www.tensorflow.org/tutorials/images/transfer_learning

3.4 自定义

Keras自定义网络层Layer https://blog.csdn.net/qq_36655333/article/details/89333809

4、pytorch

pytorcha官方英文 https://pytorch.org/docs/stable/index.html 中文 https://pytorch-cn.readthedocs.io/zh/latest/
nlp-tutorial https://github.com/graykode/nlp-tutorial 非常棒的pytorch项目
distribution-is-all-you-need https://github.com/graykode/distribution-is-all-you-need 与nlp-tutorial 同一个作者
新手如何入门pytorch？ https://www.zhihu.com/question/55720139 非常好的清单
中文入门教程 https://github.com/zergtant/pytorch-handbook
with torch.no_grad() 详解
https://blog.csdn.net/weixin_46559271/article/details/105658654
torch.no_grad() 是一个上下文管理器，被该语句 wrap 起来的部分将不会track 梯度。
PyTorch 学习笔记（八）：PyTorch的六个学习率调整方法
https://zhuanlan.zhihu.com/p/69411064
Pytorch autograd,backward详解
https://zhuanlan.zhihu.com/p/83172023
PyTorch 的 backward 为什么有一个 grad_variables 参数？
https://zhuanlan.zhihu.com/p/29923090
详解Pytorch 自动微分里的（vector-Jacobian product）
https://zhuanlan.zhihu.com/p/65609544
PyTorch Autograd
https://towardsdatascience.com/pytorch-autograd-understanding-the-heart-of-pytorchs-magic-2686cd94ec95
带你少走弯路：强烈推荐的Pytorch快速入门资料和翻译（可下载）
https://zhuanlan.zhihu.com/p/87263048
What is the difference between autograd.backward() and autograd.grad()
https://discuss.pytorch.org/t/what-is-the-difference-between-autograd-backward-and-autograd-grad/74663

无脑觉得真好用，keras虽然还行，但是还得加油

5、图像与视频

5.1 理论

图像滤波相关的处理（非常好）： http://blog.csdn.net/zouxy09/article/details/49080029
matlib卷积和矩阵运算区别： http://blog.csdn.net/andrewseu/article/details/51783181
图像处理之理解卷积 http://blog.csdn.net/jia20003/article/details/7038938
如何通俗易懂地解释卷积？ https://www.zhihu.com/question/22298352

5.2 使用

如何使用 Keras 训练目标检测模型 https://flashgene.com/archives/55494.html
人脸识别系列文章 https://www.cnblogs.com/neo-T/category/951647.html
官方例子Object Detection with RetinaNet https://keras.io/examples/vision/retinanet/
对于keras中GlobalAveragePooling2D的理解 https://blog.csdn.net/shangxiaqiusuo1/article/details/89026135
知乎tf系列文章 https://www.zhihu.com/column/c_1183794276223385600

6、深度与推荐

BERT4REC：使用Bert进行推荐 https://zhuanlan.zhihu.com/p/97123417

7、论文解读

Identity Mappings in Deep Residual Networks 官方代码：https://github.com/KaimingHe/resnet-1k-layers CIFAR-10分类
【Tensorflow 2.0 正式版教程】ResNet分类CIFAR-10 https://zhuanlan.zhihu.com/p/86665955 Identity Mappings in Deep Residual Networks自我的实现