新手学习python/pytorch/深度学习入门指引—个人学习经验汇总

环境配置

深度学习只要找好代码，自己觉得复现可能性大，就可以实施，但是也一定了解好代码配置的环境。

1. 使用云服务器

关于要不要用云服务器，我建议你用，尤其是机器学习或者深度学习，用自己电脑和服务器的感觉完全不一样，会跟你上厕所一样顺畅。

AutoDL算力云，记得学生认证，会有优惠，里面的操作文档都看一看，很简单。具体操作： 云服务器做深度学习推荐+autoDL云服务器进行深度学习教程_深度学习云服务器-CSDN博客https://blog.csdn.net/zao_chao/article/details/126494571?spm=1001.2014.3001.5506

我使用的服务器：A5000对比下来性价比高

     

2. 在云服务器中使用Git

   解决方案：在阿里云服务器上安装部署git_阿里云 安装 git-CSDN博客https://blog.csdn.net/Dan_Xiao_Hui/article/details/107483186?spm=1001.2014.3001.5506

        这个过程中遇到的问题：

        a. yum install git 安装失败

            Ubuntu下安装使用 apt-get install 就行，配置yum怪麻烦的。

        b. ssh-keygen -t rsa -C "你的git邮箱"

           这一步在终端会出现密码无法输入的情况，回车三个回合即可。

        c.找到自己需要配置的环境以及代码在终端进行git clone

3.OFA-ImageCaption/OFA-Huge项目的clone

先在CSDN找到教程，发现教程里面的代码和Huggingface里面是一样的，这样就好办了很多。

image.open的使用，打开并遍历循环所有的图片。

(14 封私信 / 81 条消息) 循环遍历文件夹中的图片，并且使用PIL库中的Image.open()打开图片，运行错误是怎么回事？ - 知乎 (zhihu.com)https://www.zhihu.com/question/515577406

运行代码一直提示这个错误，然而一模一样的代码我在pycharm里面运行是没有任何问题，猜测问题应该是出现在云服务器的pic文件中，经过删除重新上传pic还是有问题，最后发现files里面出现.ipynb_checkpoints文件，这样才导致错误的一直出现，解决方法：.ipynb_checkpoints报错b的解决方法-CSDN博客https://chase.blog.csdn.net/article/details/127245676?spm=1001.2101.3001.6650.7&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-7-127245676-blog-124646766.235%5Ev38%5Epc_relevant_sort_base3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-7-127245676-blog-124646766.235%5Ev38%5Epc_relevant_sort_base3&utm_relevant_index=10

code中全局变量和局部变量的问题

把图片名以及生成的图片信息导出成一个文件Python如何批量读取图片的图片名并保存到txt文件_python读取图片名称-CSDN博客https://blog.csdn.net/qq_37635275/article/details/115511040?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1-115511040-blog-118309842.235%5Ev38%5Epc_relevant_sort_base3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1-115511040-blog-118309842.235%5Ev38%5Epc_relevant_sort_base3&utm_relevant_index=2

Python读取.jpg图片，提取图片的文件名。_python读取图片名称-CSDN博客https://blog.csdn.net/qq_38831822/article/details/118309842

Pytorch

关于transforms.Resize()

简单来说就是调整PILImage对象的尺寸，注意不能是用io.imread或者cv2.imread读取的图片，这两种方法得到的是ndarray。将图片短边缩放至x，长宽比保持不变，需要注意的一点是PILImage对象size属性返回的是w, h，而resize的参数顺序是h, w。

transforms.Resize([h, w])

计算数据集的均值和方差 

Pytorch计算数据集的均值和方差_pytorch dataloder 均值-CSDN博客https://blog.csdn.net/zhangyuexiang123/article/details/107693099

图片预处理

PyTorch 学习笔记（三）：transforms的二十二个方法-CSDN博客https://blog.csdn.net/u011995719/article/details/85107009

SentenceTransformer模型

在SentenceTransformer模型中，它将不同长度的文本（或图像像素）转换成固定长度的嵌入向量，它代表了输入的语义。嵌入向量的介绍详见另一篇博客。

主题模型

LDA

BERTopic安装及使用

各个库的安装问题，注意各个包的版本，安装过程较为繁琐，按照错误提示耐心解决。

BERTopic相关的各个教程

【主题建模】一种基于深度学习的主题建模方法：BERTopic（理论篇）-CSDN博客https://blog.csdn.net/be_racle/article/details/128910229?spm=1001.2014.3001.5506

【主题建模】一种基于深度学习的主题建模方法：BERTopic（实战篇）-CSDN博客https://blog.csdn.net/be_racle/article/details/128961533?spm=1001.2014.3001.5506

MaartenGr/BERTopic: Leveraging BERT and c-TF-IDF to create easily interpretable topics. (github.com)https://github.com/MaartenGr/BERTopic

【文本分析实操干货】短文本主题建模利器 - BERTopic - Heywhale.comhttps://www.heywhale.com/mw/project/5fa7583d49c6d70030eec3f5

计算语义相似度

语义关系文本相似度计算——HanLP分词+余弦相似度算法_文本余弦相似度-CSDN博客https://blog.csdn.net/qq_37771475/article/details/126894519?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-5-126894519-blog-119335564.235%5Ev40%5Epc_relevant_rights_sort&spm=1001.2101.3001.4242.4&utm_relevant_index=8

画图（各种图形齐全）

pyecharts + notebook，真的不需要PPT了耶 - Heywhale.comhttps://www.heywhale.com/mw/project/5a01adce60680b295c19deb4

python可视化——热力图heatmap seaborn库_python sns.heatmap-CSDN博客https://blog.csdn.net/xiaohutong1991/article/details/107737551?ops_request_misc=&request_id=&biz_id=102&utm_term=python%E7%83%AD%E5%8A%9B%E5%9B%BE&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-2-107737551.nonecase&spm=1018.2226.3001.4187

code学习社区汇总

1.CSDN

2.github

3.和鲸社区

4.博客园

5.B站大学安排起来

6.StackOverflow

自行针对任务训练预训练模型

自己预训练模型流程-CSDN博客https://blog.csdn.net/qq_45812502/article/details/127173239#:~:text=1.%E8%87%AA%E5%B7%B1%E9%87%8D%E6%96%B0%E6%9D%A5%E9%A2%84%E8%AE%AD%E7%BB%83%E7%9A%84%E7%9B%AE%E7%9A%84%201%20%E4%B8%BB%E8%A6%81%E4%BB%BB%E5%8A%A1%E5%B0%B1%E6%98%AF%E7%94%9F%E6%88%90%E4%B8%80%E4%B8%AA%E6%88%91%E4%BB%AC%E6%83%B3%E8%A6%81%E7%9A%84%E9%A2%84%E8%AE%AD%E7%BB%83%E7%9A%84%E4%B8%80%E4%B8%AA%E9%95%BF%E5%BA%A6%E7%9A%84%E6%96%87%E6%9C%AC%E3%80%82%20%E6%AF%94%E5%A6%82%E7%94%9F%E6%88%90%E4%B8%80%E4%B8%AA256%E7%BB%B4%E9%95%BF%E5%BA%A6%EF%BC%88maxlen%EF%BC%89%E7%9A%84%E5%8F%A5%E5%AD%90%EF%BC%8C%E8%80%8C%E6%88%91%E4%BB%AC%E4%B8%8D%E9%9C%80%E8%A6%81%E5%8E%9F%E6%9D%A5Bert%E7%9A%84512%E4%B8%AA%E8%AF%8D%E9%82%A3%E4%B9%88%E5%A4%A7%EF%BC%8C%E8%BF%99%E6%97%B6%E5%80%99%E5%B0%B1%E9%9C%80%E8%A6%81%E5%B0%86huggingface%E4%B8%AD%E5%8E%9F%E6%9D%A5%E7%9A%84%E9%85%8D%E7%BD%AE%E4%BF%A1%E6%81%AF%E4%BB%A3%E7%A0%81%E8%BF%9B%E8%A1%8C%E4%BF%AE%E6%94%B9%E3%80%82,%EF%BC%88%E9%A2%84%E8%AE%AD%E7%BB%83%E4%BB%A3%E7%A0%81%E5%9F%BA%E6%9C%AC%E4%B8%8A%E9%83%BD%E4%B8%80%E6%A0%B7%EF%BC%8C%E5%B0%B1%E4%B8%BB%E8%A6%81%E5%AF%B9hugg%E4%B8%8A%E7%9A%84%E4%BB%A3%E7%A0%81%E8%BF%9B%E8%A1%8C%E5%BE%AE%E8%B0%83%E5%B0%B1%E8%A1%8C%EF%BC%89%202%20%E6%9C%89%E8%AE%BA%E6%96%87%E8%A1%A8%E6%98%8E%EF%BC%8C%E5%9C%A8%E5%BD%93%E5%89%8D%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E9%87%8C%E9%9D%A2%E5%9F%BA%E7%A1%80%E4%B8%8A%EF%BC%8C%E9%80%9A%E8%BF%87%E7%9B%B8%E5%85%B3%E6%80%A7%E8%BE%83%E5%BC%BA%E7%9A%84%E6%95%B0%E6%8D%AE%E5%86%8D%E6%AC%A1%E8%BF%9B%E8%A1%8C%E9%A2%84%E8%AE%AD%E7%BB%83%EF%BC%8C%E6%9B%B4%E6%9C%89%E7%9B%8A%E4%BA%8E%E6%8F%90%E9%AB%98%E5%BD%93%E5%89%8D%E4%BB%BB%E5%8A%A1%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%80%A7%E8%83%BD%E3%80%82%203%20%E5%BD%93%E9%81%87%E5%88%B0%E5%8A%A0%E5%AF%86%E6%96%87%E6%9C%AC%E6%97%B6%EF%BC%8C%E6%AF%94%E5%A6%82%E9%81%87%E5%88%B0%E4%BA%86%E8%84%B1%E6%95%8F%E6%95%B0%E6%8D%AE%E9%9B%86%EF%BC%8C%E5%B0%86%E6%96%87%E6%9C%AC%E5%85%A8%E9%83%BD%E8%BD%AC%E6%8D%A2%E6%88%90%E4%BA%86%E6%95%B0%E5%AD%97%E7%9A%84%E5%BD%A2%E5%BC%8F%EF%BC%8C%E8%BF%99%E4%BA%9B%E8%84%B1%E6%95%8F%E6%95%B0%E6%8D%AE%E4%B8%8D%E8%83%BD%E5%A4%9F%E5%AF%B9%E5%BA%94%E5%88%B0%E9%A2%84%E8%AE%AD%E7%BB%83%E7%9A%84%E8%AF%8D%E5%90%91%E9%87%8F%E7%9A%84%E6%B1%89%E5%AD%97%EF%BC%8C%E5%9B%A0%E6%AD%A4%E9%80%9A%E8%BF%87%E8%87%AA%E5%B7%B1%E8%AE%AD%E7%BB%83%E4%B8%80%E4%B8%AA%E8%84%B1%E6%95%8F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E3%80%82

python基于BERT的预训练模型，对多个大数据库进行预训练，并使用自定义的预训练模型进行微调的代码（4200字附详细步骤）_bert完整训练代码资源-CSDN文库https://download.csdn.net/download/weixin_44609920/88283823?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-download-2~default~CTRLIST~Paid-1-88283823-blog-127173239.235%5Ev39%5Epc_relevant_yljh&depth_1-utm_source=distribute.pc_relevant.none-task-download-2~default~CTRLIST~Paid-1-88283823-blog-127173239.235%5Ev39%5Epc_relevant_yljh&utm_relevant_index=2
BERT遇上知识图谱：预训练模型与知识图谱相结合的研究进展_知识图谱嵌入代码资源-CSDN文库https://download.csdn.net/download/syp_net/13094328?utm_medium=distribute.pc_relevant_download.none-task-download-2~default~OPENSEARCH~Rate-17-13094328-download-88283823.257%5Ev14%5Epc_dl_relevant_base1_c&depth_1-utm_source=distribute.pc_relevant_download.none-task-download-2~default~OPENSEARCH~Rate-17-13094328-download-88283823.257%5Ev14%5Epc_dl_relevant_base1_c&spm=1003.2020.3001.6616.18教你深入理解“预训练” - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/370859857
基于深度学习网络态势感知建模方法研究资源-CSDN文库https://download.csdn.net/download/da_guang_love/10518767?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-download-2~default~OPENSEARCH~Paid-1-10518767-blog-128961533.235%5Ev39%5Epc_relevant_yljh&depth_1-utm_source=distribute.pc_relevant_t0.none-task-download-2~default~OPENSEARCH~Paid-1-10518767-blog-128961533.235%5Ev39%5Epc_relevant_yljh&utm_relevant_index=1

Sentence-Transformer - 简书 (jianshu.com)https://www.jianshu.com/p/29e44157e48d

预测模型

HMM隐马尔可夫模型 

HMM - Heywhale.comhttps://www.heywhale.com/mw/project/5eafebf1366f4d002d75125c

一文读懂NLP之隐马尔科夫模型（HMM）详解加python实现_python hmm-CSDN博客https://blog.csdn.net/Elenstone/article/details/104902120?spm=1001.2014.3001.5506

统计学习方法笔记-隐马尔可夫模型（内含Python代码实现)_隐马尔可夫实例模型代码-CSDN博客https://blog.csdn.net/qq_44822951/article/details/109752436?spm=1001.2014.3001.5506

隐马尔可夫模型（HMM）及Viterbi算法 - 简书 (jianshu.com)https://www.jianshu.com/p/b8b1e55e1f1a

隐马尔可夫模型 | Chunxy' Websitehttps://chunxy.github.io/notes/articles/machine-learning/%E9%9A%90%E9%A9%AC%E5%B0%94%E7%A7%91%E5%A4%AB%E6%A8%A1%E5%9E%8B/

隐马尔科夫模型HMM之Baum-Welch算法Python代码实现_五点钟科技的博客-CSDN博客https://blog.csdn.net/qq_36583400/article/details/129138206

【大道至简】机器学习算法之隐马尔科夫模型(Hidden Markov Model, HMM)详解（1）---开篇：基本概念和几个要素_五点钟科技的博客-CSDN博客https://blog.csdn.net/qq_36583400/article/details/128222437

隐马尔科夫模型（HMM）及其Python实现 | Javen Chen's Blog (applenob.github.io)https://applenob.github.io/machine_learning/HMM/

隐马尔可夫模型观察序列的生成——Python实现_怎么生成马尔可夫序列-CSDN博客https://blog.csdn.net/weixin_43352637/article/details/103746588

隐马尔科夫模型HMM（一）HMM模型 - 刘建平Pinard - 博客园 (cnblogs.com)https://www.cnblogs.com/pinard/p/6945257.html

Baum-Welch算法估算HMM参数

自然语言文本处理（NLP）

构建共词矩阵

python实现关键词共现矩阵 - 草莓干123456 - 博客园 (cnblogs.com)https://www.cnblogs.com/chenyaling/p/7402958.html

【Python】构建关键词共现矩阵完整版_关键词共现图python_兔子爱读书的博客-CSDN博客https://bluebird.blog.csdn.net/article/details/118766566

python构建关键词共现矩阵-CSDN博客https://blog.csdn.net/alanconstantinelau/article/details/69258443

【NLP】关键词共现/属性共现矩阵_关键词共现矩阵-CSDN博客https://blog.csdn.net/EchoooZhang/article/details/104267664

你们几个是一伙的是吧？——共现矩阵 - 掘金 (juejin.cn)https://juejin.cn/post/7096391340480528391

矩阵归一化处理

python对矩阵内的每个元素进行归一化标准化 - CSDN文库https://wenku.csdn.net/answer/5nhe7c7e1b

(15 封私信 / 81 条消息) 有没有关于NumPy 归一化矩阵好理解的例子？ - 知乎 (zhihu.com)https://www.zhihu.com/question/502446869

图像处理

BLIP模型的训练

「BLIP 微调指南」以 Image-Text Captioning 任务为例-CSDN博客https://blog.csdn.net/qq_36332660/article/details/131980723

Fine-tune BLIP on an image captioning dataset.ipynb - Colaboratory (google.com)https://colab.research.google.com/drive/1lbqiSiA0sDF7JDWPeS0tccrM85LloVha?usp=sharing

Pytorch创建自己的数据集(一)-CSDN博客https://blog.csdn.net/weixin_44698328/article/details/112390485

OCR识别

适合小白的几个入门级Python ocr识别库-CSDN博客https://blog.csdn.net/qq_38017966/article/details/118724459

 百度OCR（文字识别）服务使用入坑指南-CSDN博客https://blog.csdn.net/qq_38017966/article/details/108812906?spm=1001.2014.3001.5501

 PaddleOCR—图片文字识别提取—快速使用教程_paddleocr使用-CSDN博客https://blog.csdn.net/weixin_45897172/article/details/131406224?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170349057116800215049954%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=170349057116800215049954&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-2-131406224-null-null.142%5Ev96%5Epc_search_result_base5&utm_term=PaddleOCR&spm=1018.2226.3001.4187

PaddleOCR，一款文本识别效果不输于商用的Python库！ - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/380142530

 【主题建模】主题连贯度（Topic Coherence）详解-CSDN博客https://blog.csdn.net/be_racle/article/details/129206500?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170547787116800184180173%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=170547787116800184180173&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-129206500-null-null.142%5Ev99%5Epc_search_result_base5&utm_term=%E4%B8%BB%E9%A2%98%E8%BF%9E%E8%B4%AF%E5%BA%A6%E8%AE%A1%E7%AE%97&spm=1018.2226.3001.4187

知识图谱 

中文开放的知识图谱

APIs (fudan.edu.cn)http://kw.fudan.edu.cn/apis/cndbpedia/

图谱 - 开放知识图谱 (openkg.cn)http://old.openkg.cn/dataset

多模态融合

多模态机器学习MultiModal Machine Learning (MMML)，旨在通过机器学习理解并处理多种模态信息。包括多模态表示学习Multimodal Representation，模态转化Translation，对齐Alignment，多模态融合Multimodal Fusion，协同学习Co-learning等。

多模态融合-CSDN博客https://blog.csdn.net/weixin_49627776/article/details/118163369?ops_request_misc=&request_id=&biz_id=102&utm_term=%E5%A4%9A%E6%A8%A1%E6%80%81%E7%89%B9%E5%BE%81%E8%9E%8D%E5%90%88&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-9-118163369.nonecase&spm=1018.2226.3001.4187pliang279/awesome-multimodal-ml: Reading list for research topics in multimodal machine learning (github.com)https://github.com/pliang279/awesome-multimodal-ml?tab=readme-ov-file#knowledge-graphs-and-knowledge-basesPyTorch：利用预训练好的ResNet-152网络提取图片特征_用预训练网络提取自己的特征-CSDN博客https://blog.csdn.net/Geek_of_CSDN/article/details/90179421?spm=1001.2101.3001.6650.7&utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-7-90179421-blog-134244104.235%5Ev43%5Econtrol&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-7-90179421-blog-134244104.235%5Ev43%5Econtrol&utm_relevant_index=14多模态特征融合——基于BERT和ResNet152模型_多模态特征融合模型-CSDN博客https://blog.csdn.net/qq_41301570/article/details/134244104?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171248747316800222828078%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=171248747316800222828078&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-134244104-null-null.142%5Ev100%5Epc_search_result_base5&utm_term=%E5%A4%9A%E6%A8%A1%E6%80%81%E7%89%B9%E5%BE%81%E8%9E%8D%E5%90%88&spm=1018.2226.3001.4187一文搞定深度学习建模预测全流程（Python） - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/432825733

深度学习建模预测