- 博客(40)
- 收藏
- 关注
RSS订阅原创 如何建立正确的文献阅读习惯
如果你要达到前沿，最好的方法不是直接去看前沿， 而是从你的课题的诞生一刻开始追溯它的发展。一个窍门是寻找那些提供综述类文章的期刊，订阅它们，习惯性的阅读，这些综述性文章是高效的拓宽视野的好方法。经过这些思考， 你会对你的整个学科有新的理解，注意这些论文背后的人， 以及它们之间的关系。不要以自己太忙没有时间为理由， 想象一下越是到了人生的后期， 工作， 家庭， 多少事物会让你无法阅读， 所以 ，在你的研究早期， 透彻的了解整个领域是核心重要的， 你后面更难抽出这个时间。作者：许铁-巡洋舰科技。
2024-01-13 17:40:19
372
原创 深度卷积生成对抗网络 （DCGAN）
深度卷积生成对抗网络 （DCGAN） 是一种生成模型，它使用深度卷积神经网络来生成新数据样本的任务。鉴别器旨在正确分类真实样本和生成的样本（最小化真实样本的 log（D（x）） 和生成的样本的 log（1 - D（G（z）））。生成器旨在最小化判别器进行正确分类的概率（最小化 log（1 - D（G（z））），其中 G（z） 是生成的样本）。在训练过程中，DCGAN产生越来越逼真的数据样本，生成器学习生成多样化和高质量的输出。鉴别器的输出是一个概率，指示输入是真实数据样本的可能性。
2024-01-12 16:47:58
738
原创 CycleGAN（Cycle-Consistent Generative Adversarial Network）
其主要目标是学习两个域之间的映射，例如将马的图像转换为斑马的图像，而无需配对的训练数据。18.CycleGAN的训练通常包括在生成器和判别器之间进行交替的优化，以及在循环一致性损失和对抗性损失之间的权衡。12.CycleGAN被设计用于域自适应，即在没有配对训练数据的情况下，将一个域的图像转换为另一个域的图像。16.CycleGAN的总体损失函数包括生成器和判别器的对抗性损失，循环一致性损失，以及可能的身份映射损失。3.生成器尝试生成逼真的目标域图像，而判别器则努力区分生成的图像和真实的目标域图像。
2024-01-11 17:29:15
461
原创 使用 PyTorch 和 OpenCV 实现简单卷积神经网络（CNN）的过程
使用 PyTorch 和 OpenCV 实现简单卷积神经网络（CNN）的过程，如何构建一个简单的卷积神经网络模型，并通过使用预定义的滤波器对灰度图像进行卷积操作和激活函数处理，最终可视化了卷积层和激活层的输出结果。3.神经网络模型：创建了一个简单的神经网络类 Net，包含一个卷积层，该卷积层使用预定义的滤波器进行初始化，并在前向传播中应用 ReLU 激活函数。可视化了卷积层和激活层的输出，展示了图像在卷积操作和激活函数后的变化。使用预定义的滤波器初始化卷积层的权重。定义了一个包含卷积层的神经网络模型。
2024-01-10 15:24:45
706
1
原创 大模型相关术语汇总
通过学习大量文本数据的统计模式，获得对语言的深层理解和生成能力。6.CNN：卷积神经网络，CNN是一种神经网络模型，它的基本结构是由多个卷积层和池化层组成，卷积层可以提取图像中的局部特征，而池化层可以减少特征的数量，提高计算效率。5.RNN：循环神经网络，RNN是一种神经网络模型，它的基本结构是一个循环体，可以处理序列数据，RNN的特点是能够在处理当前输入的同时，记住前面的信息，这种结构使得RNN非常适合用于自然语言处理、语音识别等任务，因为这些任务需要处理具有时序关系的数据。
2024-01-09 16:07:15
598
原创 PyTorch 中的批量规范化
9.在使用批量规范化的模型中，需要在训练和测试阶段切换模型的状态，使用model.train()将模型切换到训练模式，而使用model.eval()切换到测试模式。2.PyTorch提供了nn.BatchNorm1d用于在全连接层后应用批量规范化，以及nn.BatchNorm2d用于在卷积层后应用批量规范化。25.批量规范化有助于减小对学习率和权重初始化的敏感性，使得在更大范围内选择合适的学习率和初始化值更为容易。22.批量规范化可以在模型的不同层中使用，包括全连接层和卷积层。
2024-01-08 16:05:43
578
原创 降噪自编码器（Denoising Autoencoder）
这样的操作迫使网络学习对输入的噪声具有鲁棒性，使得模型更能够从嘈杂的数据中提取有用的特征。与普通的自编码器不同，降噪自编码器的目标是通过在输入数据中引入噪声，然后尝试从具有噪声的输入中重建原始无噪声数据。每层处理重复上述工作。4.特征学习： 通过在输入中引入噪声，降噪自编码器迫使模型学习对输入的潜在表示，而不仅仅是简单地记住训练数据。总体而言，降噪自编码器是一种有效的无监督学习方法，通过在训练数据中引入噪声，可以学习到更健壮、有意义的特征表示，对于数据的去噪和特征学习任务有着良好的性能。
2024-01-05 17:42:36
2873
原创 记忆网络（LSTM）
其中 (f_t) 是遗忘门的输出，(\sigma) 是 Sigmoid 函数，(x_t) 是当前时间步的输入，(h_{t-1}) 是上一个时间步的隐藏状态，(W_{if})、(b_{if})、(W_{hf}) 和 (b_{hf}) 是与遗忘门相关的权重和偏差。类似于输入门，遗忘门通过 Sigmoid 函数输出一个介于 0 和 1 之间的值，表示保留多少先前的信息。新的信息被加入，而一些先前的信息被遗忘。其中 (o_t) 是输出门的输出，(\tanh) 是双曲正切函数，(h_t) 是当前时间步的隐藏状态。
2024-01-04 17:30:39
463
原创 CNN文本分类实战
以上代码提供了一个基本的框架，你可以根据实际情况进行调整。确保根据数据的特性和任务的需求来选择合适的模型结构和参数。在实施CNN文本分类的实战中，你可以按照以下步骤进行操作。我将提供一个基本框架，你可以根据实际需求进行调整。根据模型的性能进行进一步优化，可以考虑调整超参数、增加层次、使用正则化等。首先，准备你的文本数据。确保数据集包括标签（类别）和对应的文本内容。对文本进行预处理，包括文本清洗、分词、将文本转化为序列等。使用Keras建立一个简单的CNN模型。使用训练数据对模型进行训练。
2024-01-03 10:32:08
365
原创 SVM 保存和加载模型参数
接着，我们使用 joblib.load 函数加载保存的模型参数，并使用加载的模型进行预测。在 Python 中，你可以使用 scikit-learn 库中的 joblib 或 pickle 模块来保存和加载 SVM 模型的参数。这段代码使用了 pickle.dump 函数将模型参数保存到名为 svm_model.pkl 的文件中，然后使用 pickle.load 函数加载保存的模型参数，并使用加载的模型进行预测。
2024-01-02 11:23:21
568
原创 改进模型性能入手点
尝试使用不同的学习率，并观察模型的收敛情况。可以使用学习率衰减策略，以在训练的不同阶段使用不同的学习率。如果你的数据集较小，可以考虑使用预训练的模型作为起点，然后对其进行微调。这可以通过迁移学习来实现，使用在大型数据集上训练过的模型权重。考虑修改模型的架构，增加或减少层的数量，调整每层的单元数，尝试不同的激活函数等。你可以通过使用更深或更宽的模型来探索新的模型结构。尝试模型集成方法，将多个模型的预测结果进行组合，以提高性能。尝试不同的批量大小，可能会影响模型的收敛速度和性能。等，并调整相应的参数。
2023-12-30 09:13:14
419
原创 神经网络分类与回归任务
与分类任务相似，使用训练集进行模型训练，通过反向传播更新权重和偏置。用于引入非线性性，常见的包括ReLU、Sigmoid、Tanh等。包括特征和对应的目标值，同样需要划分为训练集、验证集和测试集。选择适当的神经网络结构，输出层的激活函数通常为线性激活函数。可视化模型性能、损失函数随时间的变化，有助于分析和调优。监控训练和验证集上的性能，及时停止训练防止过拟合。选择适当的神经网络结构，包括层数和每层的节点数。标记好的数据集，包括训练集、验证集和测试集。监控模型在验证集上的性能，防止过拟合。
2023-12-29 09:20:33
1798
原创 tensorflow相关知识
反向模式自动微分 （autodiff），通常称为反向传播，是一种用于训练人工神经网络的技术。通过监视验证集的性能，early stopping旨在找到模型在很好地拟合训练数据和泛化到新数据之间实现最佳权衡的点。是模型选择和正则化的一种形式，可以有效防止过度拟合，尤其是在训练具有大量参数的深度神经网络或模型时。在训练期间，模型可能在训练数据上表现良好，但随着它继续学习数据中的噪声，它可能会开始过度拟合。求贡献就是反向传播是根据前向传播的误差来求梯度的。通常的做法是每个隐藏层的神经元越来越少。
2023-12-28 09:41:04
366
原创 深度学习Tensorflow缺失cublas64_11.dll cublasLt64_11.dllcufft64_10.dll，cusparse64_11.dll等dll问题解决方法：
文件直接去C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.0自己目录下找，然后改名字放在C:\Windows\System32就能用了。导包，如果缺哪个包就直接去。
2023-12-27 15:59:48
1953
原创 TensorFlow是什么
Tensorflow是一个Google开发的第二代机器学习系统，克服了第一代系统DistBelief仅能开发神经网络算法、难以配置、依赖Google内部硬件等局限性，应用更加广泛，并且提高了灵活性和可移植性，速度和扩展性也有了大幅提高。字面上理解，TensorFlow就是以张量（Tensor）在计算图（Graph）上流动（Flow）的方式的实现和执行机器学习算法的框架。TensorFlow是什么。
2023-12-26 11:05:15
889
原创 什么是pca降维
这新的特征向量是原始特征的线性组合，它们被称为主成分，而新的数据集中的每个样本都是在主成分方向上的投影。6.协方差矩阵的计算：假设有n个特征，协方差矩阵C的元素c(i, j)为第i个特征和第j个特征的协方差。12.选择主成分数量：根据需要降低的维度，选择前k个特征值对应的特征向量，构成一个转换矩阵W（由列向量组成）。特征值越大，对应的特征向量所表示的方向对数据的解释能力越强。3.数据中心化：计算每个特征的均值，然后将每个样本中的每个特征减去相应的均值，以实现数据中心化。这里，(X^T)表示X的转置。
2023-12-25 09:02:33
382
原创 支持向量机（SVM）
支持向量机（Support Vector Machine，简称 SVM）是一种二分类模型，它的基本思想是找到一个最优的超平面来最大化两类数据点之间的间隔。当数据不是线性可分的时候，可以使用核函数将数据从原始空间映射到一个更高维的空间，使其在新空间中线性可分。1.最大化间隔： SVM 的目标是找到一个超平面，使得两类数据点到这个超平面的距离（称为间隔）最大化。9.鲁棒性： 由于它最大化间隔，SVM 对于数据中的噪声具有一定的鲁棒性。10.灵活性： 通过使用不同的核函数，SVM 可以适应多种类型的数据。
2023-12-22 09:01:36
752
原创 机器学习-图像特征
机器学习中的图像特征是从图像数据中提取的关键信息，用于描述图像的某些方面。这些特征对于训练机器学习模型来说至关重要，因为它们可以捕捉图像的结构、模式和关键信息，从而帮助模型学习和做出预测。总体而言，图像特征的选择取决于任务的性质和数据的特点。16.预训练模型： 利用在大规模图像数据上训练的模型（如ImageNet上的预训练模型）提取通用特征。18.局部特征： 关注图像中的局部信息，如关键点、角点等。4.颜色矩： 使用颜色值的矩来表示图像的颜色特征。10.轮廓特征： 描述图像中对象的轮廓形状。
2023-12-21 10:06:43
392
原创 机器学习-文本特征
在机器学习中，文本特征是用于描述和表示文本数据的属性或特征。2.将文本表示为一个词汇表中的词的集合，忽略其顺序和语法。每个文档被表示为一个向量，其中每个维度对应一个词汇表中的词，而值表示该词在文档中的出现次数（词频）或使用二进制标志（该词是否出现）。12.使用主题模型（如Latent Dirichlet Allocation，LDA）来发现文本中的主题结构，将文本表示为主题的分布。8.将文本分解为连续的词组（例如，2-grams表示两个相邻的词），以捕捉一定程度上的语法和顺序信息。
2023-12-21 08:58:29
354
原创 机器学习-数值特征
在机器学习中，数值特征（Numerical Features）指的是数据集中的数值型变量或属性。在进行机器学习任务时，数值特征是非常常见的，因为它们可以表示各种不同的量化信息，如温度、距离、重量等。6.选择特征： 在某些情况下，可能需要选择最相关或最重要的数值特征，以减少模型的复杂性并提高泛化性能。3.异常值处理： 检测和处理数值特征中的异常值。5.创建新特征： 可以通过组合、交互或其他方式创建新的数值特征，以提供更多信息给模型。这只是处理数值特征的一种方法，具体的处理步骤可能会因数据集和任务而异。
2023-12-20 13:42:06
354
1
原创 随机森林调参
随机搜索：首先，为随机森林回归器定义超参数的随机网格。然后，您可以使用基于指定的随机网格搜索最佳超参数。从随机搜索中提取最佳估计量 （）。随机搜索模型的评估：在测试集上评估基本随机森林回归器 （） 的性能。base_model接下来，通过测试集上的随机搜索 （） 评估最佳估计器的性能。网格搜索（第一轮）：您可以定义一个新的、更具体的参数网格 （） 以进行进一步的超参数优化。param_grid用于对指定的参数网格执行详尽搜索。从此网格搜索中提取最佳估计器 （）。
2023-12-19 11:55:53
1132
原创 使用VOC2007数据集yolov8模型训练 预测 验证与导出
Xml_to_yolo.py:可以使annotations里的xml文件转换至lables里所要的文件。Split_train_val.py:可以生成imagesets里的文件。模型会储存在runs/detect/train文件夹下。Yolov8n.pt 不需要下载，跑模型时会自动下载。JPEGImages：为原始图片（不重要）Dataset_path：为图片索引路径。此文件需要自己创建 name为类别标签。Imagesets：为图片编号索引。查看文件夹下xml类别标签.py。打开文件详细查看模型结构。
2023-12-15 17:54:04
805
原创 监督学习与无监督学习
聚类：聚类是一种将对象分组为聚类的方法，使得具有最多相似性的对象保留在一个组中，并且与另一组的对象具有较少或没有相似性。无监督学习的目标是找到数据集的底层结构，根据相似性对数据进行分组，并以压缩格式表示该数据集。在现实世界中，我们并不总是有输入数据和相应的输出，因此为了解决这种情况，我们需要无监督学习。如果模型预测出正确的输出，这意味着我们的模型是准确的。无监督学习与人类通过自己的经验学习思考非常相似，这使得它更接近真正的人工智能。无监督学习适用于未标记和未分类的数据，这使得无监督学习更加重要。
2023-12-15 11:13:03
26
原创 国内镜像地址
pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple/豆瓣(douban)
2023-12-15 08:45:07
181
原创 机器学习十大算法
它们在开始时是随机选择的，经过多轮学习算法的迭代后，最终对训练数据集进行最好的总结。通过计算每个码本向量与新数据实例之间的距离，可以找到最相似的邻居（最匹配的码本向量）。预测建模主要关注的是在牺牲可解释性的情况下，尽可能最小化模型误差或做出最准确的预测。线性回归模型被表示为一个方程式，它为输入变量找到特定的权重（即系数 B），进而描述一条最佳拟合了输入变量（x）和输出变量（y）之间关系的直线。回归是一种传统的分类算法，它的使用场景仅限于二分类问题。最近邻（KNN）算法是非常简单而有效的。
2023-12-14 09:17:51
17
原创 YOLOv8 概述
骨干网络和 Neck 部分可能参考了 YOLOv7 ELAN 设计思想，将 YOLOv5 的 C3 结构换成了梯度流更丰富的 C2f 结构，并对不同尺度模型调整了不同的通道数，属于对模型结构精心微调，不再是无脑一套参数应用所有模型，大幅提升了模型性能。从上面可以看出，YOLOv8 主要参考了最近提出的诸如 YOLOX、YOLOv6、YOLOv7 和 PPYOLOE 等算法的相关设计，本身的创新点不多，偏向工程实践，主推的还是 ultralytics 这个框架本身。
2023-12-12 15:05:14
158
原创 labelImg数据标注工具，生成yolo所需要的训练集
labelImg是一个图形化的图像注释工具，支持VOC和YOLO格式。由于YOLO使用的是txt格式的标注，我们需要将VOC格式转换为YOLO格式。可以使用各种转换工具或脚本来实现。（2）打开labelImg并选择“Open Dir”来选择你的图片目录。（5）保存标注信息，这将在图片目录下生成一个与图片同名的XML文件。（6）重复此过程，直到所有的图片都标注完毕。（4）在图片上绘制矩形框，选择对应的标签。（1）下载并安装labelImg。（3）为你的目标对象设置标签名称。
2023-12-12 14:57:50
122
原创 VirtualBox-7.0.12 安装docker
docker服务器在国外，在平常使用docker下载镜像的过程中，难免会导致下载很慢的情况，可以将docker换成阿里源，这样下载就快很多了。中间提示Do you want to continue?，在左侧菜单栏的镜像工具中找到镜像加速器，然后选择Ubuntu操作系统。第一步：卸载旧版本（不管之前有没有安装，都执行一下这条命命令）第四步：安装docker官方的GPG key。第三步：安装docker所需要的依赖包。到此docker就安装完成了。2.开启docker服务。第八步：安装最新版本的。
2023-12-12 08:47:03
126
原创 Yolov8 部署到自己电脑上
链接：https://pan.baidu.com/s/1nK_L0Oi4PomadSXXyJttMA。调整模式，点击一次变成PascalVOC，再点击一次变成YOLO，我们选择YOLO格式进行标注。快捷键：W是启动标注，A是上一张，D是下一张图片，在view里面点击自动保存。标注方式，生成的是txt格式文件，也会生成一个类别文件classes.txt。自己的绝对路径就行，照片也可以用绝对路径，我前面是相对路径）图片文件夹下放置的是图片，labels下放置的是txt文件。标注方式，生成的是xml格式文件。
2023-12-11 15:12:38
1096
原创 Oracle VM VirtualBox安装Ubuntu-16.04操作系统
ubuntu 16.04 镜像下载（国内开源镜像站）_ubuntu16.04镜像下载-CSDN博客。点击设备选择安装增强功能，输入密码。打开共享粘贴板和拖放全部选到双向。虚拟机上搭载文件夹名称具体位置。
2023-12-08 16:56:01
50
# 文本分类任务实战 # 数据集构建：影评数据集进行情感分析 # 词向量模型：加载训练好的词向量或者自己训练 # 序列网络模型：
2024-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人