- 博客(222)
- 收藏
- 关注
原创 深度学习每周学习总结R5(LSTM-实现糖尿病探索与预测-模型优化)
数据导入及处理部分:在 PyTorch 中,我们通常先将 NumPy 数组转换为 torch.Tensor,再封装到 TensorDataset 或自定义的 Dataset 里,然后用 DataLoader 按批次加载。模型构建部分:LSTM设置超参数:在这之前需要定义损失函数,学习率(动态学习率),以及根据学习率定义优化器(例如SGD随机梯度下降),用来在训练中更新参数,最小化损失函数。定义训练函数:函数的传入的参数有四个,分别是设置好的DataLoader(),定义好的模型,损失函数,优化器。
2025-01-24 21:44:32
1219
原创 深度学习每周学习总结R4(LSTM-实现糖尿病探索与预测)
数据导入及处理部分:在 PyTorch 中,我们通常先将 NumPy 数组转换为 torch.Tensor,再封装到 TensorDataset 或自定义的 Dataset 里,然后用 DataLoader 按批次加载。模型构建部分:LSTM设置超参数:在这之前需要定义损失函数,学习率(动态学习率),以及根据学习率定义优化器(例如SGD随机梯度下降),用来在训练中更新参数,最小化损失函数。定义训练函数:函数的传入的参数有四个,分别是设置好的DataLoader(),定义好的模型,损失函数,优化器。
2025-01-13 09:33:35
1178
原创 工作效率提升:使用Anaconda Prompt 创建虚拟环境总结
通过上述步骤,可以在D盘创建并使用 Conda 虚拟环境,同时确保 Jupyter Notebook 能够正确调用该环境中的 Python 解释器。这样做不仅避免了修改系统环境变量的问题,还能更好地管理和组织您的开发环境。如果在操作过程中遇到任何问题,请随时提供详细信息,我将进一步协助您解决。
2025-01-10 16:59:42
766
原创 深度学习每周学习总结R3(LSTM-火灾温度预测)
数据导入及处理部分:在 PyTorch 中,我们通常先将 NumPy 数组转换为 torch.Tensor,再封装到 TensorDataset 或自定义的 Dataset 里,然后用 DataLoader 按批次加载。模型构建部分:LSTM设置超参数:在这之前需要定义损失函数,学习率(动态学习率),以及根据学习率定义优化器(例如SGD随机梯度下降),用来在训练中更新参数,最小化损失函数。定义训练函数:函数的传入的参数有四个,分别是设置好的DataLoader(),定义好的模型,损失函数,优化器。
2025-01-09 10:54:52
927
原创 个人网站建设记录(持续更新中)
首先是购买域名,然后再逐步开发测试个人网站 ,建立一个空白网站,逐步添加功能,比如做一个根据上传文件进行RAG+大模型问答的服务。
2024-12-31 17:45:04
337
原创 深度学习每周学习总结R2(RNN-天气预测)
数据导入及处理部分:在 PyTorch 中,我们通常先将 NumPy 数组转换为 torch.Tensor,再封装到 TensorDataset 或自定义的 Dataset 里,然后用 DataLoader 按批次加载。模型构建部分:RNN设置超参数:在这之前需要定义损失函数,学习率(动态学习率),以及根据学习率定义优化器(例如SGD随机梯度下降),用来在训练中更新参数,最小化损失函数。定义训练函数:函数的传入的参数有四个,分别是设置好的DataLoader(),定义好的模型,损失函数,优化器。
2024-12-31 14:28:01
1229
原创 深度学习每周学习总结R1(RNN-心脏病预测)
数据导入及处理部分:在 PyTorch 中,我们通常先将 NumPy 数组转换为 torch.Tensor,再封装到 TensorDataset 或自定义的 Dataset 里,然后用 DataLoader 按批次加载。模型构建部分:RNN设置超参数:在这之前需要定义损失函数,学习率(动态学习率),以及根据学习率定义优化器(例如SGD随机梯度下降),用来在训练中更新参数,最小化损失函数。定义训练函数:函数的传入的参数有四个,分别是设置好的DataLoader(),定义好的模型,损失函数,优化器。
2024-12-27 00:59:02
1152
原创 深度学习每周学习总结J9(Inception V3 算法实战与解析 - 天气识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:Inception V3。
2024-12-19 21:58:49
749
原创 大模型学习应用 4: 搭建openai代@理(Vercel)
有意义的场景优化访问速度如果你所在的地区访问 OpenAI 的 API 存在网络延迟或不稳定的问题,搭建代@理可以通过更优的网络路径提升访问速度和稳定性。简化 API 调用通过代理,你可以对 OpenAI 的 API 请求进行统一管理,比如添加默认参数、日志记录或限流机制,简化前端调用逻辑。隐藏 API Key部署代@理可以保护你的 OpenAI API Key,避免直接暴露在客户端(如前端应用),减少被滥用的风险。功能扩展。
2024-12-06 15:56:35
596
原创 深度学习每周学习总结J8(Inception V1 算法实战与解析 - 猴痘识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:Inception V1。
2024-12-06 09:52:22
1168
原创 深度学习每周学习总结J7(对ResNeXt-50 算法的思考)
当时,代码中未对通道数进行显式对齐,存在潜在问题。如果通道数确实一致,可能是前面的代码已经对输入通道数做了隐式约束。最好在代码中显式处理通道对齐问题,确保逻辑自洽,避免因意外输入导致错误。在else:如果shortcut使用一个 1x1 卷积升维(或降维)来使通道数从变为。如果shortcut是,即直接复制输入数据,不会对输入张量的通道数进行任何修改。这意味着当时,shortcut的通道数与输入x的通道数是完全相同的。TensorFlow 版本存在潜在问题:未显式保证残差连接中。
2024-11-29 11:08:31
1228
原创 深度学习每周学习总结J6(ResNeXt-50 算法实战与解析 - 猴痘识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:DenseNet-121 + SE模块。
2024-11-22 17:32:40
998
原创 深度学习每周学习总结J5(DenseNet-121 +SE 算法实战与解析 - 猴痘识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:DenseNet-121 + SE模块。
2024-11-15 17:27:29
905
3
原创 深度学习每周学习总结J4(DPN 算法探索实践 - 鸟类识别)
对于卷积新的理解:我之前的误解是错误以为有几个卷积核,就有几个权重矩阵。比如输入通道数为3,输出通道数为2,我误以为只有两个权重矩阵。但其实对于一个卷积层来说,卷积核的数量等同于输出通道数(也称为输出的特征图数)。如果输入通道数为3,输出通道数为2,那么根据卷积操作的定义,每个输出通道对应一个单独的卷积核组。每个卷积核组由数量等于输入通道数的权重矩阵组成,因此在这个例子中,实际上有3×263×2=63×26个权重矩阵(即每个输出通道有3个权重矩阵,与输入通道数相对应)。
2024-11-01 19:35:07
783
原创 深度学习每周学习总结J3(DenseNet-121算法实战与解析 - 鸟类识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:DenseNet-121。
2024-10-18 18:19:54
1124
原创 深度学习每周学习总结J2(ResNet-50v2算法实战与解析 - 鸟类识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:resnet-50v2。
2024-10-10 22:00:00
1952
原创 深度学习每周学习总结J1(ResNet-50算法实战与解析 - 鸟类识别)
数据导入及处理部分:本次数据导入没有使用torchvision自带的数据集,需要将原始数据进行处理包括数据导入,查看数据分类情况,定义transforms,进行数据类型转换等操作。划分数据集:划定训练集测试集后,再使用torch.utils.data中的DataLoader()分别加载上一步处理好的训练及测试数据,查看批处理维度.模型构建部分:resnet-50。
2024-10-04 20:50:17
1415
1
原创 深度学习每周学习总结N11:Transformer实战:文本分类 - Embedding版
使用 partial 函数创建 collate_fn,传入参数# 创建一个大小为 [max_len, embed_dim] 的零张量# 创建一个形状为 [max_len, 1] 的位置索引张量pe[:, 0::2] = torch.sin(position * div_term) # 计算 PE(pos, 2i)pe[:, 1::2] = torch.cos(position * div_term) # 计算 PE(pos, 2i+1)
2024-09-20 20:21:07
1101
原创 深度学习每周学习总结N10:Transformer实战:文本分类
创建一个大小为 [max_len, embed_dim] 的零张量# 创建一个形状为 [max_len, 1] 的位置索引张量pe[:, 0::2] = torch.sin(position * div_term) # 计算 PE(pos, 2i)pe[:, 1::2] = torch.cos(position * div_term) # 计算 PE(pos, 2i+1)# 将位置编码张量注册为模型的缓冲区,参数不参与梯度下降,保存model的时候会将其保存下来。
2024-09-13 19:30:46
943
1
原创 深度学习每周学习总结N9:transformer复现
3:Word2Vec(词向量(Word Embedding) 以及Word2vec(Word Embedding 的方法之一))N9期,transformer的代码复现,注释里加入了一些理解,但是对transformer的网络结构的理解还需加强。N4期将主要介绍中文基本分类(熟悉流程)、拓展:textCNN分类(通用模型)、拓展:Bert分类(模型进阶)N7期,需要理解RNN 及 seq2seq代码,并在此基础上成功运行代码,理解代码流程。使用来说,如果需要在神经网络中处理变长序列的嵌入,可以选择。
2024-09-06 18:50:00
1096
原创 大模型学习应用 3: AutoDL 平台 transformers 环境搭建及模型部署使用(持续更新中)
之前我们学习了在和鲸的预配置好的平台上进行学习,在工作中并不现实,本期我们的目标是将已有模型部署到云端进行运行配置环境:RTX 4090D(24GB) python 3.12(ubuntu22.04)
2024-08-28 18:38:15
1175
原创 深度学习每周学习总结N8:seq2seq翻译实战
循环中),解码器的输入都是目标序列中的真实标签。这样做的好处是,解码器可以直接获得正确的输入信息,加快训练速度,并且在训练早期提供更准确的梯度信号,帮助解码器更好地学习。在训练过程中,Teacher Forcing将目标序列的真实值作为解码器的输入,而不是使用解码器自己的预测结果。在序列生成的任务中,如机器翻译或文本生成,解码器(decoder)的输入通常是由解码器自己生成的预测结果,即前一个时间步的输出。时,采用"Teacher Forcing"的策略,即将目标序列中的真实标签作为解码器的下一个输入。
2024-08-23 21:53:15
908
原创 特征工程练手(四):特征选择
在本节,我们深入探讨了选择特征的多种方法,包括使用相关系数、机器学习模型等方式来优化特征集。相关系数:通过计算特征之间的相关系数,可以了解它们之间的线性关系。相关系数越高,表示两个特征之间的线性关系越强,可以用于判断特征之间的相关性。理解 p 值:p 值是统计检验中的一个重要指标,表示观察到的结果在零假设成立时发生的概率。通常,当 p 值小于显著性水平(通常设为 0.05)时,我们会拒绝零假设。用机器学习测量熵和信息增益:在决策树等模型中,可以使用信息熵和信息增益来评估特征的重要性。
2024-08-21 15:59:02
1153
原创 大模型学习应用 2:快速上手大模型基于langchain实现RAG检索应用
快速上手大模型基于langchain实现RAG检索应用 - 项目作业。
2024-08-20 16:41:18
970
原创 深度学习每周学习总结N7:seq2seq翻译实战
循环中),解码器的输入都是目标序列中的真实标签。这样做的好处是,解码器可以直接获得正确的输入信息,加快训练速度,并且在训练早期提供更准确的梯度信号,帮助解码器更好地学习。在训练过程中,Teacher Forcing将目标序列的真实值作为解码器的输入,而不是使用解码器自己的预测结果。在序列生成的任务中,如机器翻译或文本生成,解码器(decoder)的输入通常是由解码器自己生成的预测结果,即前一个时间步的输出。时,采用"Teacher Forcing"的策略,即将目标序列中的真实标签作为解码器的下一个输入。
2024-08-16 21:03:16
1006
原创 特征工程练手(三):特征构建
在本节中,讨论了针对数值数据和文本数据进行特征构建的方法。填充分类特征:对于分类特征,可能需要处理缺失值。学习如何进行填充以确保数据的完整性和准确性。编码分类变量:将分类变量转化为机器学习模型可以理解的形式。扩展数值特征:通过使用现有数值特征创建新的特征,以提供更多信息给模型。词袋法:将文本表示为单词的出现频率,转化为向量形式,可用于机器学习算法。CountVectorizer:将文本数据转换为其向量表示的最常用办法,和虚拟变量类似。
2024-08-12 18:19:29
900
原创 特征工程练手(二):特征增强
在本节,我们深入学习了处理数据中的缺失值,特别是针对定量数据的修复方法。了解如何有效地处理缺失值是数据预处理中至关重要的一步,它能够提高模型的鲁棒性和性能。重点内容主要有观察标签分布,各维度相关性。处理异常值,将原本用0填充的数据做None填充,观察用0填充的数据统计量变化情况。分别用不同方式做数据填充以及数据标准化的方法,并使用网格搜索得到最优结果。值得注意的是,在做数据填充的时候,需要在划分训练集测试集后,使用训练集的填充数据填充训练集和测试集,以达到更好的泛化性。
2024-08-10 22:58:41
806
原创 特征工程练手(一):特征理解
特征工程是数据科学中的关键步骤,它基于领域知识从原始数据中提取特征,以提升机器学习模型的性能。数据是特征工程的基础,没有数据就不可能提取特征。结构化数据与非结构化数据定量数据与定性数据数据的4个等级数据可视化。
2024-08-08 18:01:57
875
原创 深度学习每周学习总结N6:使用Word2vec实现文本分类
之前有学习过文本预处理的环节,对文本处理的主要方式有以下三种:1:词袋模型(one-hot编码)2:TF-IDF3:Word2Vec(词向量(Word Embedding) 以及Word2vec(Word Embedding 的方法之一))详细介绍及中英文分词详见pytorch文本分类(一):文本预处理上上上上期主要介绍Embedding,及EmbeddingBag 使用示例(对词索引向量转化为词嵌入向量) ,上上上期主要介绍:应用三种模型的英文分类。
2024-08-08 00:11:19
954
原创 机器学习练手(六):机器学习算法实践实战
本文为和鲸python 机器学习原理与实践·闯关训练营资料整理而来,加入了自己的理解(by GPT4o),多年风控引擎研发及金融模型开发经验,现任某公司风控研发工程师,对数据分析、金融模型开发、风控引擎研发具有丰富经验。
2024-08-04 12:43:13
1099
原创 机器学习练手(五):基于XGBoost 的葡萄酒分类和糖尿病指标预测
本文为和鲸python 可视化探索训练营资料整理而来,加入了自己的理解(by GPT4o),多年风控引擎研发及金融模型开发经验,现任某公司风控研发工程师,对数据分析、金融模型开发、风控引擎研发具有丰富经验。前一关卡中我们学习了SVM支持向量机模型的搭建,其中的核函数可以说是其中的重点,其通过扩展维度空间的方式,使得不可分的数据变成可分的原因就是核函数。下面我们开始学习比赛中的大杀器 -XGBoost。
2024-08-04 10:27:35
856
1
原创 机器学习练手(四):基于SVM 的肥胖风险分类
SVM支持向量机采用扩展维度空间的方式进行分类,从而避免了之前逻辑回归的二维空间内的问题(线性不可分)。SVM在扩展维度空间后,即当前数据线性可分,通过计算间隔最大化的分离超平面将数据分开,其对未知数据的预测性是最强的。
2024-08-04 10:16:24
1372
6
原创 机器学习练手(三):基于决策树的iris 多分类和波士顿房价预测
通过可视化决策树,可以看出正如前面介绍的那样,分类决策树是if-then的集合,最终得到对应的分类结果。
2024-08-03 19:13:01
1012
1
原创 机器学习练手(二):基于KMeans的股票分类
KMeans在确定分类个数计算时,无法使用object类型的数据,应当提前删除或对特征进行one-hot处理。
2024-08-03 18:20:15
1361
原创 机器学习练手(一):逻辑回归之乳腺癌分类、二手车售价
关于机器学习算法的线性回归,如果是二分类且分类标签是0和1,预测结果默认是为1的概率,可以这样理解吗是的,对于二分类问题,如果使用线性回归算法(具体来说是逻辑回归),并且分类标签是0和1,那么预测结果可以理解为属于类别1的概率。具体来说,在逻辑回归中,模型通过一个线性函数(线性回归)计算出一个实数值,然后通过一个sigmoid函数(或逻辑函数)将该值转换为一个介于0和1之间的概率。这个概率可以解释为输入样本属于类别1的概率。
2024-08-03 12:01:14
1253
原创 python 可视化探索(四):电商数据可视化案例
用户画像是指根据用户的属性、行为、需求等信息而抽象出的一个标签化的用户模型。它是对用户信息进行标签化的过程,以方便计算机处理。
2024-08-02 01:47:43
700
原创 python 可视化探索(三):Seaborn数据可视化
Seaborn是一个基于Python的数据可视化库,它基于Matplotlib库进行构建,提供了更高级别的界面和更好看的默认风格。Seaborn旨在使可视化成为探索和理解数据的核心部分,其提供了面向数据集的API,可以方便地在相同变量的不同视觉表示之间切换,以便更好地理解数据集。
2024-08-01 11:50:53
812
原创 python 可视化探索(二):高级图表与组合图表
总结:本文为和鲸python 可视化探索训练营资料整理而来,加入了自己的理解(by GPT4o)原作者:作者:大话数据分析,知乎、公众号【大话数据分析】主理人,5年数据分析经验,前蚂蚁金服数据运营,现京东经营分析师。
2024-07-29 16:27:42
1171
原创 python 可视化探索(一):基础图表
Matplotlib是一个Python 2D绘图库,它可以在各种平台上以各种硬拷贝格式和交互式环境生成出具有出版品质的图形,它是Python中最常用的可视化工具之一,功能非常强大,可以通过调用函数轻松方便地绘制数据分析中常见的各种图像,比如折线图、条形图、柱状图、散点图、饼图等。
2024-07-29 00:27:38
583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人