- 博客(100)
- 收藏
- 关注
RSS订阅
原创 python爬虫爬取某图书网页实例
下面是通过requests库来对ajax页面进行爬取的案例，与正常页面不同，这里我们获取url的方式也会不同，这里我们通过爬取一个简单的ajax小说页面来为大家讲解。循环遍历URL（这里为大家提供具体url的获取方法，并循环了1至9页的数据为大家做案例），并发送了带有随机User-Agent的GET请求。设置代码来保存图片到以文章名命名的文件中，并将作者、文章名和简介信息写入到"./biquge.txt"文件中。首先进入网页，点击F12打开自定义与控制工具，点击fecth/XHR，此时显示部分为空白。
2024-08-14 16:22:31
5551
原创 python—爬虫爬取电影页面实例
下面是一个简单的爬虫实例，使用Python的requests库来发送HTTP请求，并使用lxml库来解析HTML页面内容。这个爬虫的目标是抓取一个电影网站，并提取每部电影的主义部分。首先，确保你已经安装了requests和lxml库。安装好lxml库后，就可以在Python代码中通过from lxml import etree来导入etree模块，并使用它提供的各种功能。这段代码是一个Python脚本，用于从豆瓣电影Top 250页面抓取电影信息，并将这些信息保存到本地文件中。
2024-08-14 15:28:39
5148
9
原创 OpenCV-光流估计
光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。具体来说，当给定两帧图像时，光流估计旨在找出上一帧图像中的每一个点在下一帧图像中的位置变化，即这些点移动到了什么位置。这个过程可以用来对图像进行动态分析，如目标跟踪等。
2024-10-11 21:28:54
455
原创 CSDN 编写博文时插入数学公式以及特殊符
CSDN支持LaTeX数学公式的插入，但需要注意格式。数学公式有两种类型：行中公式和独立公式。行中公式：放在文中与其他文字混编，用。独立公式：单独成行，可以使用。
2024-10-10 21:24:32
563
原创 循环神经网络-LSTM网络
循环神经网络（Recurrent Neural Networks，RNN）是一种特殊的神经网络，具有能够处理序列数据的能力，然而，RNN在处理长序列时面临长期依赖问题，即当需要考虑较远过去的输入信息时，可能会由于反向传播过程中梯度的逐层累乘，导致梯度消失或爆炸，从而使得网络无法有效地学习到长时间跨度的依赖关系。为了解决RNN的长期依赖问题，长短期记忆网络（Long Short-Term Memory，LSTM）应运而生。LSTM是RNN的一种变种，具有更强的能力来处理长距离依赖关系。
2024-10-09 22:16:03
1195
原创 循环神经网络-RNN
因为传统神经网络无法训练出具有顺序的数据且模型搭建时没有考虑数据上下之间的关系。所以我们提出了循环神经网络。循环神经网络（Recurrent Neural Network,RNN）是一种用于处理序列数据的神经网络架构。与传统神经网络（Feedforward Neural Network, FNN）不同，RNN能够在处理序列输入时具有记忆性，可以保留之前输入的信息并继续作为后续输入的一部分进行计算。
2024-10-08 21:09:30
1363
原创 自然语言处理-语言转换
自然语言处理中的语言转换方法涉及多种语言模型，包括统计语言模型、神经语言模型。其中统计语言模型通过分析大量文本数据，学习词汇和句子的概率分布，来预测给定上下文的下一个词或子词。但存在参数空间的爆炸式增长且需要考虑词与词之间内在的联系性。神经语言模型通过训练大量文本数据来学习词汇和句子的概率分布。但是也存在维度灾难的问题，所以需要引入词嵌入，将高维度的词表示转换为低维度的词。这些方法在不断发展和完善中，为自然语言处理领域的发展提供了有力的支持。
2024-10-07 22:02:48
1308
原创 OpenCV-OCR
OpenCV-OCR主要涉及使用OpenCV库进行光学字符识别（OCR）的技术。OCR技术可以识别图像中的文本信息，并将其转换为可编辑的文本格式，在文档处理、自动驾驶、智能监控等领域有着广泛的应用。
2024-10-06 20:09:31
1493
原创 OpenCV-背景建模
OpenCV中的背景建模技术是实现运动检测、场景理解和事件检测等应用的重要基础。通过选择合适的背景建模方法（如混合高斯模型）和相应的实现函数（如createBackgroundSubtractorMOG2()），我们可以有效地从视频序列中提取出静态背景，并将动态前景对象与背景进行分离。这为后续的进一步分析和处理提供了便利。
2024-10-05 20:37:37
1162
原创 OpenCV-指纹识别
该代码实现了一个简单的指纹识别系统，使用了SIFT特征和FLANN匹配器对指纹进行检测识别。但事实上我们可能遇到各种问题，所以需要根据实际应用场景对代码进行调整和优化，特别是指纹图像的预处理和特征提取部分。
2024-09-30 20:09:26
3548
5
原创 OpenCV-图像拼接
import cv2import sys首先我们定义了两个函数，cv_show用来展示图像，detectAndDescribe使用了 OpenCV 的SIFT（尺度不变特征变换）算法来检测图像中的关键点和计算这些关键点的描述符。
2024-09-29 21:50:00
1719
原创 OpenCV-图像透视变换
透视变换是一种非线性变换，它可以将一个二维坐标系中的点映射到三维坐标系中的点，然后再将其投影到另一个二维坐标系中的点。这种变换基于几何学中的透视原理，通过一个3x3的变换矩阵来实现，该矩阵作用于图像的每个像素坐标，从而进行坐标的映射转换。透视变换能够模拟真实世界中的透视效果，使物体看起来更接近、更远或者从不同角度观看。
2024-09-28 19:59:41
2437
1
原创 图像特征提取-SIFT
SIFT算法通过检测图像中的局部特征点，并计算这些特征点的描述符，从而实现图像的匹配和识别。这些特征点具有尺度不变性和旋转不变性，即使图像发生尺度缩放、旋转或光照变化，也能够被准确识别和匹配。
2024-09-27 20:07:10
1483
原创 卷积神经网络-迁移学习
定义：迁移学习是指利用已经训练好的模型，在新的任务上进行微调。迁移学习可以加快模型训练速度，提高模型性能，并且在数据稀缺的情况下也能很好地工作。性质：迁移学习侧重于将已经学习过的知识迁移应用于新的问题中，以减少目标任务对大量新数据的依赖，加快模型训练速度，并提高模型的泛化能力。本文主要通过迁移学习为大家引入ResNet网络，为大家介绍了残差网络的两个核心结构：批次归一化与残差结构，通过这两个核心结构解决梯度消失、爆炸和退化问题。其中着重介绍了残差结构的类型与ResNet_18的网络模型与具体操作。
2024-09-26 21:25:21
1509
原创 卷积神经网络-学习率
首先，需要明确一个或多个评估指标来衡量模型性能，如准确率（accuracy）、损失值（loss）等。在分类任务中，准确率是常用的评估指标；而在某些情况下，如果类别不平衡，可能需要使用其他指标如F1分数或精确率与召回率的组合。
2024-09-25 20:31:05
1222
原创 卷积神经网络-最优模型
首先，需要明确一个或多个评估指标来衡量模型性能，如准确率（accuracy）、损失值（loss）等。在分类任务中，准确率是常用的评估指标；而在某些情况下，如果类别不平衡，可能需要使用其他指标如F1分数或精确率与召回率的组合。
2024-09-24 20:05:40
1308
原创 卷积神经网络-数据增强
数据增强（也叫数据扩增）的目的是为了扩充数据和提升模型的泛化能力。有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可避免过拟合，另一方面又会带来模型性能的提升。总的来说，数据增强是深度学习中一个重要的环节，它通过增加数据集的多样性和数量，提高了模型的泛化能力和鲁棒性。在实际应用中，我们可以根据具体任务的需求选择合适的数据增强方法，以达到最佳的效果。
2024-09-23 17:34:34
1145
原创 深度学习-卷积神经网络（CNN）
卷积神经网络是一种前馈型神经网络, 受生物自然视觉认知机制启发而来的. 现在, CNN 已经成为众多科学领域的研究热点之一, 特别是在模式分类领域, 由于该网络避免了对图像的复杂前期预处理, 可以直接输入原始图像, 因而得到了更为广泛的应用. 可应用于图像分类, 目标识别, 目标检测, 语义分割等等. 本文介绍可用于图像分类的卷积神经网络的基本结构.
2024-09-22 19:23:13
1608
原创 直方图均衡化
直方图均衡化是将原图像通过某种变换，得到一幅灰度直方图为均匀分布的新图像的方法。这种方法通过改变图像的直方图来改变图像中各像素的灰度，从而增强图像的对比度。
2024-09-21 20:10:20
1229
原创 图像处理-掩码
在图像处理中，掩码（Mask）是一种特殊的图像，用于指定对原始图像进行操作的区域。掩码通常是二值图像（即图像上的每个像素只有两个可能的值，通常是0和255，分别代表黑色和白色），但也可以是灰度图像或多通道图像，尽管二值掩码最为常见。
2024-09-19 21:45:42
1685
原创 OpenCV-直方图
虽然对于plt.hist()来说这不是必需的，因为plt.hist()可以直接处理二维数组（在这种情况下，它会将其视为一系列的值），但这一步展示了如何手动将图像数据展平。plt.hist(a,bins=256)：使用matplotlib的hist函数绘制一维数组a的直方图，其中bins=256指定了直方图的bin数量。cv2.imread(‘sj.png’,cv2.IMREAD_GRAYSCALE)：读取名为’sj.png’的图像文件，并将其转换为灰度图像。plt.show()：显示直方图。
2024-09-18 21:00:47
1368
原创 神经网络-MNIST数据集训练
来源：MNIST数据集由Yann LeCun等人于1994年创建，它是NIST（美国国家标准与技术研究所）数据集的一个子集。内容：数据集主要包含手写数字（0~9）的图片及其对应的标签。用途：作为深度学习和计算机视觉领域的入门级数据集，它适合初学者练习建立模型、训练和预测。class NeuralNetwork(nn.Module): # 通过调用类的形式来使用神经网络，神经网络的模型，nn.moduledef __init__(self): # python基础关于类,self类自己本身。
2024-09-17 21:17:40
1842
原创 OpenCV-上下采样
高斯金字塔是图像处理、计算机视觉和信号处理中常用的一项技术，其核心在于通过高斯平滑和亚采样（即下采样）来构建图像的多尺度表示。在高斯金字塔中，上下采样是构建金字塔层级的关键步骤。拉普拉斯金字塔（Laplacian Pyramid）是高斯金字塔的一种扩展，用于捕捉和重建图像在不同尺度上的细节信息。在高斯金字塔中，每一层图像都是通过对其上一层图像进行高斯模糊和下采样得到的，这个过程会导致图像细节的损失。拉普拉斯金字塔则通过记录这些在高斯金字塔构建过程中丢失的细节来工作。
2024-09-16 22:02:22
1611
原创 深度学习-神经网络构造
神经网络作为一种经典的人工神经网络模型，具有强大的非线性映射能力和自适应学习能力。虽然存在一些不足，但通过不断改进和优化算法，其性能和应用范围仍在不断拓展。随着深度学习技术的兴起和发展，BP神经网络将继续在人工智能和机器学习领域发挥重要作用。
2024-09-15 16:26:49
1707
原创 神经网络-损失函数
在神经网络的训练过程中，损失函数的选择取决于具体的任务和数据特点。例如，在回归任务中，MSE和MAE是常用的损失函数；而在分类任务中，交叉熵损失函数则更为常见。此外，还可以根据实际需求对损失函数进行组合或改进，以达到更好的训练效果。
2024-09-14 18:06:50
1131
原创 深度学习-神经网络
本文主要介绍了神经网络部分组成，例如基本单元、网络层、偏置、权重与激活函数等组成部分。其中简述了网络层的三部分，即输入层、输出层与隐藏层，然后讲到了神经网络中的可训练参数，即偏置与权重，它们共同决定了网络的行为和性能。其次我们介绍了神经网络常用的几种激活函数，通过图像与公式为大家展示了几种激活函数的异同。最后我们为大家讲述了神经网络的优缺点，以便让大家合理的运用神经网络。
2024-09-13 20:45:14
1646
3
原创 深度学习介绍
定义：深度学习是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。它是机器学习的一个分支，通过学习样本数据的内在规律和表示层次，使机器能够像人一样具有分析学习能力，识别文字、图像和声音等数据。核心：深度学习的核心在于构建多层非线性处理单元（即神经元）的网络结构，这些网络可以从原始数据中自动提取特征并进行学习。
2024-09-12 19:56:19
1472
原创 OpenCV-模板匹配多个目标
本次主要讲述了模型匹配多个目标的方法过程，通过对模型匹配进行进一步讲解，然后对其方法进行介绍与举例，为大家展示了匹配多个目标的案例，通过对模板图像进行旋转等一系列操作，让其与输入图像中的各个区域相匹配，最终将匹配结果进行绘制矩阵框展示，为大家展示了具体效果。
2024-09-11 20:05:27
1420
原创 OpenCV-模板匹配
在OpenCV中，模型匹配（或称为模板匹配）是一种用于在图像中查找与给定模板最相似区域的技术。OpenCV提供了cv2.matchTemplate()函数来实现模板匹配。这个函数通过滑动模板图像在输入图像上来比较模板和每个可能的窗口区域，并计算它们之间的相似度。模板匹配是一种最原始、最基本的模式识别方法，其核心在于通过已知的小图像（模板）在另一幅大图像中搜寻相同或相似的目标物，并确定其位置。这一过程主要依赖于计算模板图像与待搜索图像中各个区域的相似度。
2024-09-10 19:55:49
1638
原创 OpenCV-轮廓特征
在OpenCV中，轮廓检测后得到的轮廓不仅是一系列点的集合，还可以进一步分析以提取有用的特征。这些特征包括但不限于轮廓的面积、周长、边界框、凸包、质心、方向、矩等。OpenCV中的轮廓特征提取和分析在计算机视觉领域具有许多重要的好处和应用。这些特征不仅可以帮助我们理解和分析图像内容，还能在图像识别、物体检测、形状分析、运动跟踪等多种场景中发挥关键作用。物体识别和定位：通过检测图像中的轮廓，可以识别和定位图像中的物体。轮廓是物体边界的精确表示，有助于区分不同的物体并确定它们的位置。
2024-09-09 22:00:50
1167
1
原创 OpenCV-轮廓检测
在OpenCV中，轮廓检测是图像处理中一个非常重要的环节，它允许我们识别图像中的形状。这个过程通常涉及几个步骤：读取图像、转换为灰度图、应用阈值处理（或边缘检测）以获取二值图像、然后使用cv2.findContours()函数查找轮廓。在读取图像文件名，我们可以根据具体需求调整阈值处理和其他参数。此外，cv2.RETR_TREE是一个轮廓检索模式，它检索所有轮廓并创建完整的层次结构。根据我们的需求，可以选择其他检索模式，如cv2.RETR_EXTERNAL只检索最外层的轮廓。
2024-09-09 21:34:06
2395
4
原创 数据填充-随机森林填充
随机森林（Random Forest）是一种集成学习方法，它通过构建多个决策树并将它们的预测结果进行汇总来做出最终的预测。结合了决策树的预测能力和集成学习的优势，以提高预测的准确性和鲁棒性。随机森林是一种强大且灵活的机器学习算法，具有许多优点，但也存在一些潜在的缺点。高准确性：通过构建多个决策树并集成它们的预测结果，随机森林通常能够提供比单一决策树更高的预测准确性。鲁棒性：随机森林对噪声和异常值具有较好的容忍度，不容易受到过拟合的影响。
2024-09-08 21:12:17
1290
原创 机器学习-基本方式
有监督学习是指使用带有标签（或目标值）的数据集来训练模型，让模型学习输入特征与输出标签之间的映射关系。在学习过程中，模型会不断调整其参数，以最小化预测标签与实际标签之间的差异。无监督学习是指使用没有标签的数据集进行训练，模型需要自行发现数据中的内在结构、模式或规律。无监督学习的目标通常不是预测或分类，而是数据的降维、聚类或关联规则的发现。
2024-09-06 21:32:28
1030
原创 SVD降维
综上所述，SVD降维是一种有效的数据预处理技术，它可以通过提取数据的主要特征来降低数据的维度，并保留大部分重要信息。在降维过程中，SVD通过保留矩阵A中最大的几个奇异值，并忽略其他较小的奇异值，来近似地重构原始矩阵。重构矩阵：使用选定的奇异值和对应的U、V^T的子矩阵，重构出一个近似于原始矩阵A但维度更低的矩阵A’。去除噪声：较小的奇异值通常与噪声相关，因此通过忽略这些奇异值，可以在一定程度上去除数据中的噪声。提高算法性能：降维后的数据具有更低的维度，可以减少计算量和存储需求，从而提高算法的性能。
2024-09-06 20:21:56
1239
原创 主成分分析-PCA
PCA（主成分分析，Principal Component Analysis）是一种常用的数据降维技术。它的主要目的是通过线性变换将原始数据转换到新的坐标系统中，这个新坐标系统的各个坐标轴（即主成分）是原始数据的主要特征方向，这些方向上的数据方差最大，且各坐标轴之间相互正交。通过这种方式，PCA可以在保留数据重要特征的同时，减少数据的维度，简化数据，便于后续的数据处理和分析。
2024-09-05 20:52:28
1192
原创 边缘检测运用
边缘检测是图像处理和计算机视觉中的一个基本问题，旨在标识数字图像中亮度变化明显的点，即检测图像中的边缘或不连续区域。这些边缘通常反映了图像中不同区域之间的边界或过渡区域，包含了物体的轮廓和结构信息。
2024-09-04 20:27:29
2051
原创 深度学习-OpenCv的运用（4）
图像形态学是数学中研究形状、结构和变换的一个分支，在图像处理领域，它主要用于描述和分析图像中的形状和结构。图像形态学通过操作图像中的形状和结构元素（也称为内核或模板），来实现图像的分析、增强、去噪和特征提取等目的。这一领域为计算机视觉、图像识别和医学图像处理等领域提供了强大的工具和方法。代码解释：设置了结构元素的大小为 5x5，并指定了腐蚀操作的迭代次数为 2。这意味着腐蚀操作将连续进行两次，每次都会使用5x5 的结构元素来减少图像中的亮区域。显示结果：使用 cv2.imshow 来显示原始图像和腐蚀
2024-09-03 21:37:34
1568
原创 深度学习-OpenCV运用（3）
深度学习（Deep Learning）与OpenCV（Open Source Computer Vision Library）的结合为计算机视觉领域带来了强大的解决方案。OpenCV是一个开源的计算机视觉和机器学习软件库，它提供了大量的视觉处理算法，包括但不限于图像和视频处理、特征检测、对象识别等。OpenCV作为一个开源的计算机视觉库，具有显著的优点和一定的缺点。优点开源与免费：OpenCV是开源的，允许用户自由使用、修改和分发，且对非商业应用和商业应用都是免费的。
2024-09-02 20:13:49
2130
原创 自然语言处理-词向量转换
词向量转换是自然语言处理（NLP）中的一个核心技术，它将词汇表中的每个词映射为一个固定长度的向量。这种向量表示能够捕捉到词的语义和语法信息，为许多NLP任务提供支持。文本分类：通过词向量表示文本，然后使用分类算法对文本进行分类。情感分析：利用词向量捕捉文本中的情感信息，对文本进行情感倾向的判断。机器翻译：在机器翻译中，词向量可以帮助模型理解源语言和目标语言之间的词汇对应关系。信息检索：通过计算查询词和文档词向量之间的相似度，实现相关文档的检索。
2024-09-01 21:51:11
1987
原创 文本数据分析-（TF-IDF）（2）
TF-IDF是一种统计方法，用于评估一个词语对于一个文件集或一个语料库中的其中一份文件的重要程度。它通过结合词频（TF）和逆文档频率（IDF）两个因素来计算词语的权重。词频（TF）表示某个词在文档中出现的频率，逆文档频率（IDF）则度量了该词在整个文本集合中的重要性。TF-IDF值越高，表示该词在文档中的重要性越大，越能代表文档的主题。jieba库是一个流行的中文分词库，它支持三种分词模式：精确模式、全模式和搜索引擎模式。除了分词功能外，jieba库还提供了词性标注、关键词提取、添加自定义词典等丰富的功能。
2024-08-31 17:04:20
1558
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人