- 博客(67)
- 收藏
- 关注
RSS订阅原创 Jieba进行词频统计与关键词提取
需要注意的是，TF-IDF算法只考虑了词语在文本中的出现情况，而忽略了词语之间的关联性。因此，在一些特定的应用场景中，需要使用其他的文本特征提取方法，例如词向量、主题模型等。可以看到，jieba根据TF-IDF算法提取出了输入文本中的若干个关键字，并返回了每个关键字的权重值。例如，在一个包含1000篇文档的文档集合中，某个单词在100篇文档中出现过，则该单词的IDF为。最后，我们遍历关键字列表，输出每个关键字和对应的权重值。例如，在一篇包含100个单词的文档中，某个单词出现了10次，则该单词的TF为。
2023-03-27 21:07:21
173
原创 Jieba分词的准确率提升：使用paddle模式进行分词（使用百度飞桨深度学习模型进行分词）
jieba中的paddle模式是指使用飞桨（PaddlePaddle）深度学习框架加速分词的一种模式。相对于传统的分词算法，paddle模式采用了深度学习模型，可以获得更高的分词准确度和更快的分词速度。paddle模式是基于卷积神经网络（Convolutional Neural Network, CNN）实现的。在训练过程中，使用了中文Wikipedia语料库和自动标注语料库，对分词任务进行了有监督的训练。
2023-03-27 09:21:03
135
原创 Jieba分词模式详解、词库的添加与删除、自定义词库失败的处理
当需要添加的词过多时，建议使用添加词典的方式。自定义词典可以包含用户自己添加的词语及其词频和词性等信息。创建一个文本文件，例如，用于存储自定义词典。每行格式为：词语 词频 词性。将需要添加的词语及其词频和词性等信息写入到中，每个词语一行。调用Jieba的方法加载自定义词典文件。词典示例如下：开源模型 10 n深度学习 8 n其中，10和8为词语的词频，n为词语的词性。之后调用词典即可。词典加入之后，再次进行分词，词典中的内容就可以被分出来了。
2023-03-26 11:54:28
177
原创 逻辑回归 算法推导与基于Python的实现详解
逻辑回归（Logistic Regression）是一种用于分类问题的统计学习方法。它基于线性回归的原理，通过将线性函数的输出值映射到[0,1]区间上的概率值，从而进行分类。逻辑回归的输入是一组特征变量，它通过计算每个特征与对应系数的乘积，加上截距项得到线性函数，然后将该函数的输出值经过sigmoid函数的映射，得到概率值。逻辑回归常用于二分类问题，即将样本分为两类，如判断一封邮件是否为垃圾邮件。逻辑回归还可以扩展到多分类问题，如将样本分为三类或更多类别。
2023-03-25 00:01:09
251
原创 线性回归 梯度下降算法大全与基于Python的底层代码实现
梯度下降是一种常用的优化算法，它通过不断迭代来最小化一个损失函数。根据不同的损失函数和迭代方式，梯度下降可以被分为批量梯度下降（Batch Gradient Descent，BGD）、随机梯度下降（Stochastic Gradient Descent，SGD）、小批量梯度下降（Mini-batch Gradient Descent）、共轭梯度法（Conjugate Gradient，CG）等。
2023-03-23 13:16:48
155
原创 线性回归 正则项（惩罚项）原理、正则项的分类与Python代码的实现
除了前面提到的L1与L2在算法上的区别之外，还有一个重要的区别在于L1正则项的解不是唯一的，而L2正则项的解是唯一的。这是由于L1正则项的正则化图形是一个菱形，其边界在坐标轴上，而L2正则项的正则化图形是一个圆形，其边界是一个平滑的曲线。在线性回归中，正则项是一种用于控制模型复杂度的技术，它通过将系数的大小加入到损失函数中，以限制模型的复杂度。这意味着，L1正则项可以在模型中选择最重要的特征，从而提高模型的泛化能力。L2正则项将系数的平方和作为正则化项，可以防止模型中的系数过大，从而减少模型的过拟合。
2023-03-19 11:11:07
446
原创 线性回归 特征扩展的原理与python代码的实现
举个例子，多项式扩展可以将一个包含 n 个特征的样本向量 x 扩展为一个包含 k 个特征的样本向量，其中 k 可以是 n 的任意多项式。例如，如果我们使用二次多项式扩展，可以将样本向量[x1, x2]扩展为一个包含原始特征和交叉项的新特征向量，例如 [x1, x2, x1^2, x2^2, x1*x2]。在多项式扩展后，我们可以使用线性回归模型来拟合扩展后的数据，并计算模型的拟合误差来评估模型的性能。在线性回归中，多项式扩展是种比较常见的技术，可以通过增加特征的数量和多项式项的次数来提高模型的拟合能力。
2023-03-18 16:35:51
419
原创 线性回归 最小二乘法的求解推导与基于Python的底层代码实现
作为最常见的方法之一，线性回归仍可视为有监督机器学习的方法之一，同时也是一种广泛应用统计学和数据分析的基本技术。它是一种用于估计两个或多个变量之间线性关系的方法，其中一个变量是自变量，另一个变量是因变量。线性回归假设这两个变量之间存在线性关系，并试图找到一条最佳拟合直线，使预测值与实际值之间的误差最小化。
2023-03-17 09:24:38
294
原创 SWMM从入门到实践教程 04 快速入门案例的模拟执行
点击option - summary可以查看总结报告。这份报告中可以查看不同类型的设施的数据统计结果。
2023-03-11 21:23:02
231
原创 SWMM从入门到实践教程 02 快速入门案例的绘制
同时，我们经常需要展示管道中的水流方向，同样在这一工具中，点击Flow Arrows，修改Arrow Style，个人习惯使用Filled方式，修改完成后即可在管线之上显示水流方向。需要注意的是此处的方向显示的是在正常无压重力流下，水流的方向，即管道的坡向。在此可以设置各类设施的展示形式，如子汇水区的填充样式，节点的大小，管渠的长度等等。通常情况下，管渠中的雨水最终会汇集到一个或多个排水口进行排出，排水口使用右侧的三角形或左侧的Hydraulics-Node-Outfalls进行绘制。
2023-03-02 01:28:32
135
原创 SWMM从入门到实践教程 01 SWMM软件介绍
SWMM（Storm Water Management Model）是一款用于城市暴雨径流模拟和城市雨水管理的计算机软件。SWMM软件最初由美国环保局（EPA）开发，现在已经成为一个广泛使用的软件，用于设计、规划和管理城市排水系统。SWMM软件的主要功能是模拟雨水在城市排水系统中的流动和水质变化。它可以模拟雨水在城市中的汇流过程、雨水排放、河流水位、水质变化等各个方面。SWMM软件还可以帮助用户评估不同排水系统的性能，比较不同排水系统的成本和效益，并提供改进城市排水系统的建议。
2023-02-24 14:41:16
809
原创 11 OpenCV图像识别之人脸识别
Eigenfaces是一种基于PCA（Principal Component Analysis，主成分分析）的人脸识别方法，属于OpenCV中的特征脸方法之一。该方法将人脸图像转换为低维的特征向量，使用PCA降维的方式提取出训练集中的主成分特征，进而提取出人脸图像的特征向量。在进行识别时，通过比较输入图像与训练集中每个图像的特征向量的相似度来判断其所属的人脸类别。
2023-02-20 17:22:29
1526
1
原创 09 OpenCV图形检测
函数是OpenCV中用于寻找轮廓的函数之一。它可以用于在二值图像中查找并检测出所有的物体轮廓，以及计算出这些轮廓的各种属性，例如面积、周长、质心等。imagemodemethodcontourshierarchyoffset(0, 0)contours和hierarchy。其中，contours是一个包含所有检测到的轮廓的Python列表，每个轮廓都是由一组点构成的Numpy数组。而hierarchy是一个包含轮廓的层次结构信息的Numpy数组。
2023-02-17 12:53:57
948
1
原创 08 OpenCV腐蚀、膨胀与形态学运算
腐蚀操作是一种形态学操作，它用于缩小二值图像中的对象，并去除图像中的噪声和细节。其基本原理是将图像中的每个像素与内核进行比较，如果内核覆盖的区域内所有像素值都为非零值，则该像素保持不变；否则，该像素的值会被更新为0，从而实现缩小图像中的对象。腐蚀操作的效果通常与内核的大小、形状以及迭代次数有关，通过适当选择这些参数，可以实现不同程度的腐蚀效果。在OpenCV中，可以使用函数来进行腐蚀操作。该函数会将内核与图像进行卷积，从而得到腐蚀后的图像。具体而言，对于图像中的每个像素ij。
2023-02-17 12:52:10
445
原创 07 OpenCV各类滤波
均值滤波器是一种基本的线性滤波器，常用于图像处理中的平滑操作。在 OpenCV 中，可以使用cv2.blur()函数或函数进行均值滤波操作。均值滤波器的原理是将每个像素的灰度值替换为其周围像素灰度值的平均值。其核心思想是去除图像中的高频噪声，同时保留图像中的低频信息。在进行均值滤波操作时，需要定义一个滤波模板（也称为卷积核），通常是一个矩形区域，其大小由模板的宽度和高度决定。在模板中的每一个像素，都会与该像素周围的像素进行加权平均，从而得到新的像素值。可以使用cv2.blur()函数或函数。
2023-02-16 10:07:23
282
原创 06 OpenCV 阈值处理、自适应处理与ostu方法
CV2中使用阈值的作用是将灰度图像二值化，即将灰度图像的像素值根据一个设定的阈值分成黑白两部分。阈值处理可以用于图像分割、去除噪声、增强图像对比度等多个领域。例如，在物体检测和跟踪中，可以通过对图像进行阈值处理来提取目标区域；在图像增强中，可以使用阈值处理来增强图像的轮廓和细节等。阈值处理可以使用函数来完成。
2023-02-15 22:33:44
925
原创 05 OpenCV色彩空间处理
色彩空间（Color Space）是一种用于描述颜色的数学模型，它将颜色表示为多维向量或坐标，通常由三个或四个独立的分量来表示。不同的色彩空间在颜色的表示方式、可表达颜色的范围、计算速度和应用场景等方面存在差异，不同的色彩空间有不同的作用，主要包括以下几点：色彩空间可以提高图像处理的准确性。例如，由于人类的视觉对亮度（L）和颜色（a、b）的感知不同，Lab色彩空间可以提高图像处理算法在颜色边缘的准确性。色彩空间可以扩展可表示的颜色范围。
2023-02-14 11:48:21
319
原创 04 OpenCV位平面分解
位平面分解的核心思想是将图像的每一个像素分解为多个二进制位，分别存储在不同的位平面上。例如，如果一个图像是8位深度的，则可以分解为8个位平面，每个位平面上存储一个二进制位。位平面分解在图像压缩中有着重要的应用，因为它可以有效减少图像的存储大小。例如，如果一个图像的最高位平面（即最高二进制位）存储的是图像的主要信息，那么将其单独存储可以大大减小图像的大小。此外，位平面分解技术的应用非常广泛，除了压缩技术以外，在数字水印、和特征提取等方面都有重要的应用。
2023-02-14 11:47:54
310
原创 03 OpenCV图像运算
通过按位与运算，可以将图像的某些部分提取出来，从而获得更多有用的信息。OpenCV 中的按位或运算（Bitwise Or）和非运算（Bitwise Not）是对图像中的每一个像素进行二进制位上的运算。在计算机中，图像的像素是以二进制位的形式存储的，因此按位与运算就是对两个图像的对应像素的二进制位进行“与”运算。该函数可以将两幅图像按照给定的比例进行混合，得到新的图像。按位与运算的结果取决于两个数的二进制位上的值，如果两个二进制位都是。OpenCV 中的按位与运算的计算原理是二进制位的位与运算。
2023-02-13 11:04:07
363
原创 智慧水务未来技术发展方向预测探讨
未来智慧水务的技术发展方向将涉及人工智能、物联网、大数据、云计算、区块链、智能感知、虚拟现实、机器人、生物技术和网格技术等方面。这些新兴技术将为智慧水务的发展提供强有力的支撑和保障，推动智慧水务的不断创新和发展。随着技术的不断进步和智慧水务的不断发展，未来智慧水务的应用场景将更加丰富和多样，为人们创造更加美好的生活和环境。
2023-02-12 18:36:59
536
原创 详解Python正则表达式中group与groups的用法
在Python中，正则表达式的group和groups方法是非常有用的函数，用于处理匹配结果的分组信息。group方法是re.MatchObject类中的一个函数，用于返回匹配对象的整个匹配结果或特定的分组匹配结果。而groups方法同样是re.MatchObject类中的函数，它返回的是所有分组匹配结果组成的元组。在本文中，我们将详细讲解group和groups的用法和使用场景。
2023-02-12 18:18:06
494
1
原创 02 OpenCV图像通道处理
在数字图像处理中，图像通道是指一个图像中的颜色信息被分离为不同的颜色分量。常见的图像通道包括RGB通道、灰度通道、HSV通道等。RGB通道是指将图像分离为红色、绿色和蓝色三个颜色通道，每个通道表示相应颜色的亮度。这种方式是最常见的方式，它对于彩色图像的处理非常重要。灰度通道是指将图像中的颜色信息转换为灰度亮度值，用单个通道表示整幅图像。这种方式比较适用于黑白图像或者在彩色图像中只需要考虑图像的亮度信息时。HSV通道是指将图像中的颜色信息分离为色调（H）、饱和度（S）和亮度（V）三个通道。
2023-02-12 12:34:48
6692
原创 01 OpenCV基础知识与基本操作
读取图像的如法如下cv2暂不支持读取中文路径，所以务必确认地址中不含中文。以上两行代码都可以读入灰色图像。读取进图像后，图像数据将会以像素值列表的形式保存。
2023-02-09 00:14:01
178
原创 使用PyTorch构建卷积GAN源码（详细步骤讲解+注释版） 02人脸图片生成下
阅读提示：本篇文章的代码为在普通GAN代码上实现人脸图片生成的修改，文章内容仅包含修改内容，全部代码讲解需结合下面的文章阅读。本次训练代码使用了本地GPU计算。文章的上篇讲解了数据集class和鉴别器class，下面将会继续建立生成器class，并完成鉴别器与生成器的对抗。
2023-02-04 13:02:22
5543
原创 使用PyTorch构建卷积GAN源码（详细步骤讲解+注释版） 02人脸图片生成 上
阅读提示：本篇文章的代码为在普通GAN代码上实现人脸图片生成的修改，文章内容仅包含修改内容，全部代码讲解需结合下面的文章阅读。本次训练代码使用了本地GPU计算。
2023-02-03 00:03:52
5893
原创 使用PyTorch构建卷积神经网络（CNN）源码（详细步骤讲解+注释版） 01 手写数字识别
前面我们使用GAN构建了一个可以生成人脸图像的模型。但尽管是较为简单的模型，仍占用了1G左右的GPU内存，因此需要探索更加节约资源的方式。卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，主要应用于图像处理、语音识别等领域。它的主要思想是通过卷积操作对输入图像的特征进行提取，再通过多层网络对特征进行分类和判断。CNN的网络结构通常由卷积层、池化层和全连接层组成。
2023-02-02 13:54:53
5234
原创 城市POI数据爬取-百度地图版
目前百度地图的最新版为地图检索V2.0服务。详细介绍可以通过开发文档-web服务Api-地点检索V2.0获取。在使用API前需要提前注册账号获取ak。对于免费账号：目前的每日访问次数是100次，最多可以获取2000条数据。
2023-02-01 22:21:58
4542
原创 Python正则表达式语法快速入门
正则表达式需要与相关函数共同使用，对函数的学习可以参考：Python正则表达式所有函数详解首先看一下正则表达式中的常用符号
2023-02-01 14:59:05
6208
原创 使用PyTorch构建GAN生成对抗网络源码（详细步骤讲解+注释版）02 人脸识别 下
上一节，我们已经建立好了模型所必需的鉴别器类与Dataset类。接下来，我们测试一下鉴别器是否可以正常工作，并建立生成器。
2023-01-31 10:25:28
5594
原创 python使用类装饰器生成函数的使用日志
类装饰器是 Python 中的一种特殊类型的装饰器，它是一个类而不是一个函数。与函数装饰器不同，类装饰器可以在运行时接收参数并返回一个可调用的对象，而不是直接替换被装饰的函数。类装饰器的语法是在装饰器类名前面加上 @ 符号，后跟被装饰的函数。它需要实现一个__init__方法来接收被装饰的函数，以及一个__call__方法来替代函数的行为。对于熟悉装饰器的同学来说，类装饰器的__call__其实就是装饰器的内层函数。
2023-01-26 11:29:15
563
原创 Python装饰器使用方法详解
当涉及到处理有返回值的函数时，对于内部函数我们应该使用一个变量将函数的运行结果保存起来，并放在内层函数的return中。装饰器可以改变被装饰函数的行为，或者在调用被装饰函数之前和之后增加额外的操作。装饰器的语法是使用 @ 语法符，在函数定义之前增加装饰器函数的名称。函数中，我们增加了形参的输入，因此，在装饰器中，也要为之做出更改。权限控制：装饰器可以用来实现函数级别的权限控制，只允许特定的用户访问特定的函数。装饰器可以让你在函数或类的定义中添加额外的逻辑，而不更改它们的实现。在代码中，我们建立了一个名为。
2023-01-25 19:34:04
3080
原创 Python闭包与闭包陷阱
Python中的闭包陷阱指的是在闭包中引用了变量时，如果该变量在闭包外部被修改，则闭包内部的值也会改变。这可能会导致程序的错误或意外行为。
2023-01-25 12:58:12
1375
原创 使用PyTorch构建GAN生成对抗网络源码（详细步骤讲解+注释版）02 人脸识别 上
本文使用torch，建立了能够自动生成人脸数据的对抗神经网络。
2023-01-16 12:58:37
6668
1
原创 HDF5数据的打包与使用（以图像数据为例）
HDF5 数据是存储在一种名为 Hierarchical Data Format version 5 (HDF5) 的二进制文件格式中的数据。这种文件格式可以用来存储大量的多维数据，并且提供了很多的功能来帮助用户组织和管理数据。HDF5 数据文件中包含了一系列的数据集，每个数据集都是一个多维数组。数据集的维度可以是任意的数量，并且每个数据集都可以有自己的属性。这使得 HDF5 文件格式非常适合用来存储大量的数值型数据，比如图像、音频、视频等。
2023-01-08 00:50:19
318
原创 离线下载安装PyTorch的不报错方法
安装最经典的方法是在官网选择电脑的系统，GPU型号，PyTorch版本后，将生成的安装代码直接复制并使用命令行安装。但由于网络的原因，相信大家基本在安装的时候都遇到过各种而样的问题导致安装失败。所以一般会使用镜像安装和离线安装代替其中离线安装是最不会产生网络波动导致安装失败的方法，在此推荐使用。
2023-01-07 02:34:06
986
原创 使用PyTorch构建GAN生成对抗网络源码（详细步骤讲解+注释版）01 手写字体识别
构建一个生成对抗网络，生成对抗网络可以模拟出新的手写数字数据集。附逐句代码讲解
2023-01-05 23:38:59
6565
1
逻辑回归算法推导与基于Python的实现详解
2023-03-24
分别使用LinearRegressio，Lasso，ridge, Elastic net线性回归模型预测 附逐句讲解
2023-03-18
线性回归 最小二乘法的求解推导与基于Python的底层代码实现 附逐句代码讲解（在博客中的机器学习算法专栏）
2023-03-18
芝加哥雨型生成器+暴雨强度生成器.rar
2023-03-14
celeba人脸识别训练集，以处理成h5py格式，显著提升数据读取与训练速度
2023-01-07
使用PyTorch逐步搭建神经网络代码（附逐句讲解）+模型优化
2023-01-02
使用PyTorch逐步搭建神经网络代码（附逐句讲解）
2023-01-02
使用Python完成InDesign软件内的对话框交互
2023-02-01
Pyechartsr如何将图例绘制在折线图外侧
2023-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人