- 博客(75)
- 收藏
- 关注
RSS订阅原创 从图片中提取指定颜色数据到GIS中操作流程
科研工作中，经常会收到一张图片格式的规划图，而我们想把其中的水网/路网等数据进行提取到GIS中进行展示。此项工作可以借助PS工具来快速完成。
2023-07-13 10:42:36
1945
1
原创 ArcSWAT报错：Error Number :-2147467259； 对 COM 组件的调用返回了错误 HRESULT E_FAIL
然而，当所有进程均是对磁盘或企业级数据库连接的 I/O bound 时，您可通过指定多于核数量的进程以提高性能。您可通过指定大于 100% 的百分比或大于计算机所含核数量的进程数量，来使用更多进程。指定的进程数量大于计算机所具有的核数量，可能导致性能损失。为避免这样的竞争，您可以指定并行处理因子，可以使用低于 100% 的百分数值或少于计算机核数量的进程数量。环境值决定了工具操作时所跨进程的数量。如果您指定一个百分比值（用符号 % 代表），则所用的进程数量将取计算机核数量的指定百分数（取最近的整数）。
2023-05-15 17:31:47
5279
18
原创 ArcSWAT报错：数据集未投影；Dataset must have a projected coordinate system
目前DEM数据的格式主要为tif格式，需注意tif格式的投影定义方法为使用投影栅格功能，而非投影或定义投影功能。如使用投影功能，会出现输入数据找不到DEM图层；如使用定义投影功能，则TIF数据将会被直接定义到火星而无法与其他图层重合。投影栅格功能的使用方法如下：打开ArcToolbox，选择数据管理工具-投影和变换-栅格-投影栅格或直接搜索投影栅格工具。其中输入栅格为需要被投影的DEM数据，输出坐标系如果单纯的为了SWAT使用，可以选择对应的WGS_1984_UTM_Zone_N坐标系。其中。
2023-05-15 15:46:42
2223
原创 ArcSWAT报错：-2147217385；创建栅格数据集失败
建议在建立SWAT项目文件时，层级不要超过三级，比如项目的文件路径可以设置为：D://SWAT/****（项目的名字或拼音）。也可尝试将TIF设置为投影坐标系，但坐标系问题通常不会产生该报错，另一篇文章会讲解坐标系产生的报错（可进入播客主页查看另一篇文章）。如果没有足够的权限，也可以尝试以管理员身份运行ArcSWAT软件。右键单击ArcSWAT的快捷方式或可执行文件，选择"以管理员身份运行"。在文件资源管理器中，右键单击数据文件或文件夹，选择"属性"或"权限"选项，检查您的用户账户是否具有适当的访问权限。
2023-05-15 14:55:22
4748
1
原创 ChatGPT常见报错解决：回答不完整. 网络错误. Something went wrong. NetworkError when attempting to fetch resources.
目前已确认可以解决的报错：Something went wrong. If this issue persists please contact us through our help center at help.openai.com.等三种报错
2023-04-25 15:21:04
19491
56
原创 Stacking：解决机器学习进行多模型组合的实用工具
在机器学习领域，算法的选择和参数的调整一直是让人头痛的难题。虽然有很多算法可以使用，但没有一种算法是万能的。随着技术的不断发展，出现了一些新的技术可以在算法选择和调整参数方面提供一些帮助。其中最流行的技术之一是Stacking。Stacking是一种用于增强机器学习模型性能的技术。该技术通过结合不同算法的预测结果来生成最终的预测结果。这种方法能够帮助解决许多机器学习问题，特别是当单一算法不足以解决问题时。
2023-04-09 13:57:23
2254
原创 掌握机器学习中的“瑞士军刀”XGBoost，从入门到实战
XGBoost（eXtreme Gradient Boosting）是一种集成学习算法，它可以在分类和回归问题上实现高准确度的预测。XGBoost在各大数据科学竞赛中屡获佳绩，如Kaggle等。XGBoost是一种基于决策树的算法，它使用梯度提升（Gradient Boosting）方法来训练模型。XGBoost的主要优势在于它的速度和准确度，尤其是在大规模数据集上的处理能力。XGBoost的核心思想是将多个弱分类器组合成一个强分类器。在每次迭代中，XGBoost通过加权最小化损失函数的方法来拟合模型。
2023-04-09 10:07:24
1812
原创 Scikit-learn中的Pipeline：让机器学习流程更加简单、高效、可靠
Pipeline是Scikit-learn中的一个类，它允许用户将多个数据预处理步骤和机器学习模型组合成一个整体。具体而言，Pipeline将多个估算器对象串联在一起，其中估算器可以是数据预处理步骤（如缺失值填充、特征缩放、特征选择等）或机器学习模型（如线性回归、决策树、支持向量机等）。Pipeline对象可以像普通的估算器一样进行训练、预测和评估，并且可以与GridSearchCV等工具一起使用，对估算器参数进行调优。使用Pipeline的好处是显而易见的：它使机器学习流程更加简单、高效和可靠。
2023-04-05 16:51:37
2334
原创 Jieba进行词频统计与关键词提取
需要注意的是，TF-IDF算法只考虑了词语在文本中的出现情况，而忽略了词语之间的关联性。因此，在一些特定的应用场景中，需要使用其他的文本特征提取方法，例如词向量、主题模型等。可以看到，jieba根据TF-IDF算法提取出了输入文本中的若干个关键字，并返回了每个关键字的权重值。例如，在一个包含1000篇文档的文档集合中，某个单词在100篇文档中出现过，则该单词的IDF为。最后，我们遍历关键字列表，输出每个关键字和对应的权重值。例如，在一篇包含100个单词的文档中，某个单词出现了10次，则该单词的TF为。
2023-03-27 21:07:21
1606
原创 Jieba分词的准确率提升：使用paddle模式进行分词（使用百度飞桨深度学习模型进行分词）
jieba中的paddle模式是指使用飞桨（PaddlePaddle）深度学习框架加速分词的一种模式。相对于传统的分词算法，paddle模式采用了深度学习模型，可以获得更高的分词准确度和更快的分词速度。paddle模式是基于卷积神经网络（Convolutional Neural Network, CNN）实现的。在训练过程中，使用了中文Wikipedia语料库和自动标注语料库，对分词任务进行了有监督的训练。
2023-03-27 09:21:03
5259
1
原创 Jieba分词模式详解、词库的添加与删除、自定义词库失败的处理
当需要添加的词过多时，建议使用添加词典的方式。自定义词典可以包含用户自己添加的词语及其词频和词性等信息。创建一个文本文件，例如，用于存储自定义词典。每行格式为：词语 词频 词性。将需要添加的词语及其词频和词性等信息写入到中，每个词语一行。调用Jieba的方法加载自定义词典文件。词典示例如下：开源模型 10 n深度学习 8 n其中，10和8为词语的词频，n为词语的词性。之后调用词典即可。词典加入之后，再次进行分词，词典中的内容就可以被分出来了。
2023-03-26 11:54:28
6595
4
原创 逻辑回归 算法推导与基于Python的实现详解
逻辑回归（Logistic Regression）是一种用于分类问题的统计学习方法。它基于线性回归的原理，通过将线性函数的输出值映射到[0,1]区间上的概率值，从而进行分类。逻辑回归的输入是一组特征变量，它通过计算每个特征与对应系数的乘积，加上截距项得到线性函数，然后将该函数的输出值经过sigmoid函数的映射，得到概率值。逻辑回归常用于二分类问题，即将样本分为两类，如判断一封邮件是否为垃圾邮件。逻辑回归还可以扩展到多分类问题，如将样本分为三类或更多类别。
2023-03-25 00:01:09
1152
原创 线性回归 梯度下降算法大全与基于Python的底层代码实现
梯度下降是一种常用的优化算法，它通过不断迭代来最小化一个损失函数。根据不同的损失函数和迭代方式，梯度下降可以被分为批量梯度下降（Batch Gradient Descent，BGD）、随机梯度下降（Stochastic Gradient Descent，SGD）、小批量梯度下降（Mini-batch Gradient Descent）、共轭梯度法（Conjugate Gradient，CG）等。
2023-03-23 13:16:48
1121
原创 线性回归 正则项（惩罚项）原理、正则项的分类与Python代码的实现
除了前面提到的L1与L2在算法上的区别之外，还有一个重要的区别在于L1正则项的解不是唯一的，而L2正则项的解是唯一的。这是由于L1正则项的正则化图形是一个菱形，其边界在坐标轴上，而L2正则项的正则化图形是一个圆形，其边界是一个平滑的曲线。在线性回归中，正则项是一种用于控制模型复杂度的技术，它通过将系数的大小加入到损失函数中，以限制模型的复杂度。这意味着，L1正则项可以在模型中选择最重要的特征，从而提高模型的泛化能力。L2正则项将系数的平方和作为正则化项，可以防止模型中的系数过大，从而减少模型的过拟合。
2023-03-19 11:11:07
4992
原创 线性回归 特征扩展的原理与python代码的实现
举个例子，多项式扩展可以将一个包含 n 个特征的样本向量 x 扩展为一个包含 k 个特征的样本向量，其中 k 可以是 n 的任意多项式。例如，如果我们使用二次多项式扩展，可以将样本向量[x1, x2]扩展为一个包含原始特征和交叉项的新特征向量，例如 [x1, x2, x1^2, x2^2, x1*x2]。在多项式扩展后，我们可以使用线性回归模型来拟合扩展后的数据，并计算模型的拟合误差来评估模型的性能。在线性回归中，多项式扩展是种比较常见的技术，可以通过增加特征的数量和多项式项的次数来提高模型的拟合能力。
2023-03-18 16:35:51
1429
原创 线性回归 最小二乘法的求解推导与基于Python的底层代码实现
作为最常见的方法之一，线性回归仍可视为有监督机器学习的方法之一，同时也是一种广泛应用统计学和数据分析的基本技术。它是一种用于估计两个或多个变量之间线性关系的方法，其中一个变量是自变量，另一个变量是因变量。线性回归假设这两个变量之间存在线性关系，并试图找到一条最佳拟合直线，使预测值与实际值之间的误差最小化。
2023-03-17 09:24:38
1703
原创 SWMM从入门到实践教程 04 快速入门案例的模拟执行
点击option - summary可以查看总结报告。这份报告中可以查看不同类型的设施的数据统计结果。
2023-03-11 21:23:02
3037
2
原创 SWMM从入门到实践教程 02 快速入门案例的绘制
同时，我们经常需要展示管道中的水流方向，同样在这一工具中，点击Flow Arrows，修改Arrow Style，个人习惯使用Filled方式，修改完成后即可在管线之上显示水流方向。需要注意的是此处的方向显示的是在正常无压重力流下，水流的方向，即管道的坡向。在此可以设置各类设施的展示形式，如子汇水区的填充样式，节点的大小，管渠的长度等等。通常情况下，管渠中的雨水最终会汇集到一个或多个排水口进行排出，排水口使用右侧的三角形或左侧的Hydraulics-Node-Outfalls进行绘制。
2023-03-02 01:28:32
3321
原创 SWMM从入门到实践教程 01 SWMM软件介绍
SWMM（Storm Water Management Model）是一款用于城市暴雨径流模拟和城市雨水管理的计算机软件。SWMM软件最初由美国环保局（EPA）开发，现在已经成为一个广泛使用的软件，用于设计、规划和管理城市排水系统。SWMM软件的主要功能是模拟雨水在城市排水系统中的流动和水质变化。它可以模拟雨水在城市中的汇流过程、雨水排放、河流水位、水质变化等各个方面。SWMM软件还可以帮助用户评估不同排水系统的性能，比较不同排水系统的成本和效益，并提供改进城市排水系统的建议。
2023-02-24 14:41:16
5795
原创 11 OpenCV图像识别之人脸识别
Eigenfaces是一种基于PCA（Principal Component Analysis，主成分分析）的人脸识别方法，属于OpenCV中的特征脸方法之一。该方法将人脸图像转换为低维的特征向量，使用PCA降维的方式提取出训练集中的主成分特征，进而提取出人脸图像的特征向量。在进行识别时，通过比较输入图像与训练集中每个图像的特征向量的相似度来判断其所属的人脸类别。
2023-02-20 17:22:29
6728
1
原创 09 OpenCV图形检测
函数是OpenCV中用于寻找轮廓的函数之一。它可以用于在二值图像中查找并检测出所有的物体轮廓，以及计算出这些轮廓的各种属性，例如面积、周长、质心等。imagemodemethodcontourshierarchyoffset(0, 0)contours和hierarchy。其中，contours是一个包含所有检测到的轮廓的Python列表，每个轮廓都是由一组点构成的Numpy数组。而hierarchy是一个包含轮廓的层次结构信息的Numpy数组。
2023-02-17 12:53:57
1977
1
原创 08 OpenCV腐蚀、膨胀与形态学运算
腐蚀操作是一种形态学操作，它用于缩小二值图像中的对象，并去除图像中的噪声和细节。其基本原理是将图像中的每个像素与内核进行比较，如果内核覆盖的区域内所有像素值都为非零值，则该像素保持不变；否则，该像素的值会被更新为0，从而实现缩小图像中的对象。腐蚀操作的效果通常与内核的大小、形状以及迭代次数有关，通过适当选择这些参数，可以实现不同程度的腐蚀效果。在OpenCV中，可以使用函数来进行腐蚀操作。该函数会将内核与图像进行卷积，从而得到腐蚀后的图像。具体而言，对于图像中的每个像素ij。
2023-02-17 12:52:10
1028
原创 07 OpenCV各类滤波
均值滤波器是一种基本的线性滤波器，常用于图像处理中的平滑操作。在 OpenCV 中，可以使用cv2.blur()函数或函数进行均值滤波操作。均值滤波器的原理是将每个像素的灰度值替换为其周围像素灰度值的平均值。其核心思想是去除图像中的高频噪声，同时保留图像中的低频信息。在进行均值滤波操作时，需要定义一个滤波模板（也称为卷积核），通常是一个矩形区域，其大小由模板的宽度和高度决定。在模板中的每一个像素，都会与该像素周围的像素进行加权平均，从而得到新的像素值。可以使用cv2.blur()函数或函数。
2023-02-16 10:07:23
1270
原创 06 OpenCV 阈值处理、自适应处理与ostu方法
CV2中使用阈值的作用是将灰度图像二值化，即将灰度图像的像素值根据一个设定的阈值分成黑白两部分。阈值处理可以用于图像分割、去除噪声、增强图像对比度等多个领域。例如，在物体检测和跟踪中，可以通过对图像进行阈值处理来提取目标区域；在图像增强中，可以使用阈值处理来增强图像的轮廓和细节等。阈值处理可以使用函数来完成。
2023-02-15 22:33:44
1768
原创 05 OpenCV色彩空间处理
色彩空间（Color Space）是一种用于描述颜色的数学模型，它将颜色表示为多维向量或坐标，通常由三个或四个独立的分量来表示。不同的色彩空间在颜色的表示方式、可表达颜色的范围、计算速度和应用场景等方面存在差异，不同的色彩空间有不同的作用，主要包括以下几点：色彩空间可以提高图像处理的准确性。例如，由于人类的视觉对亮度（L）和颜色（a、b）的感知不同，Lab色彩空间可以提高图像处理算法在颜色边缘的准确性。色彩空间可以扩展可表示的颜色范围。
2023-02-14 11:48:21
875
原创 04 OpenCV位平面分解
位平面分解的核心思想是将图像的每一个像素分解为多个二进制位，分别存储在不同的位平面上。例如，如果一个图像是8位深度的，则可以分解为8个位平面，每个位平面上存储一个二进制位。位平面分解在图像压缩中有着重要的应用，因为它可以有效减少图像的存储大小。例如，如果一个图像的最高位平面（即最高二进制位）存储的是图像的主要信息，那么将其单独存储可以大大减小图像的大小。此外，位平面分解技术的应用非常广泛，除了压缩技术以外，在数字水印、和特征提取等方面都有重要的应用。
2023-02-14 11:47:54
1565
原创 03 OpenCV图像运算
通过按位与运算，可以将图像的某些部分提取出来，从而获得更多有用的信息。OpenCV 中的按位或运算（Bitwise Or）和非运算（Bitwise Not）是对图像中的每一个像素进行二进制位上的运算。在计算机中，图像的像素是以二进制位的形式存储的，因此按位与运算就是对两个图像的对应像素的二进制位进行“与”运算。该函数可以将两幅图像按照给定的比例进行混合，得到新的图像。按位与运算的结果取决于两个数的二进制位上的值，如果两个二进制位都是。OpenCV 中的按位与运算的计算原理是二进制位的位与运算。
2023-02-13 11:04:07
548
原创 智慧水务未来技术发展方向预测探讨
未来智慧水务的技术发展方向将涉及人工智能、物联网、大数据、云计算、区块链、智能感知、虚拟现实、机器人、生物技术和网格技术等方面。这些新兴技术将为智慧水务的发展提供强有力的支撑和保障，推动智慧水务的不断创新和发展。随着技术的不断进步和智慧水务的不断发展，未来智慧水务的应用场景将更加丰富和多样，为人们创造更加美好的生活和环境。
2023-02-12 18:36:59
1220
原创 详解Python正则表达式中group与groups的用法
在Python中，正则表达式的group和groups方法是非常有用的函数，用于处理匹配结果的分组信息。group方法是re.MatchObject类中的一个函数，用于返回匹配对象的整个匹配结果或特定的分组匹配结果。而groups方法同样是re.MatchObject类中的函数，它返回的是所有分组匹配结果组成的元组。在本文中，我们将详细讲解group和groups的用法和使用场景。
2023-02-12 18:18:06
4643
2
原创 02 OpenCV图像通道处理
在数字图像处理中，图像通道是指一个图像中的颜色信息被分离为不同的颜色分量。常见的图像通道包括RGB通道、灰度通道、HSV通道等。RGB通道是指将图像分离为红色、绿色和蓝色三个颜色通道，每个通道表示相应颜色的亮度。这种方式是最常见的方式，它对于彩色图像的处理非常重要。灰度通道是指将图像中的颜色信息转换为灰度亮度值，用单个通道表示整幅图像。这种方式比较适用于黑白图像或者在彩色图像中只需要考虑图像的亮度信息时。HSV通道是指将图像中的颜色信息分离为色调（H）、饱和度（S）和亮度（V）三个通道。
2023-02-12 12:34:48
9019
原创 01 OpenCV基础知识与基本操作
读取图像的如法如下cv2暂不支持读取中文路径，所以务必确认地址中不含中文。以上两行代码都可以读入灰色图像。读取进图像后，图像数据将会以像素值列表的形式保存。
2023-02-09 00:14:01
421
原创 使用PyTorch构建卷积GAN源码（详细步骤讲解+注释版） 02人脸图片生成下
阅读提示：本篇文章的代码为在普通GAN代码上实现人脸图片生成的修改，文章内容仅包含修改内容，全部代码讲解需结合下面的文章阅读。本次训练代码使用了本地GPU计算。文章的上篇讲解了数据集class和鉴别器class，下面将会继续建立生成器class，并完成鉴别器与生成器的对抗。
2023-02-04 13:02:22
6075
2
原创 使用PyTorch构建卷积GAN源码（详细步骤讲解+注释版） 02人脸图片生成 上
阅读提示：本篇文章的代码为在普通GAN代码上实现人脸图片生成的修改，文章内容仅包含修改内容，全部代码讲解需结合下面的文章阅读。本次训练代码使用了本地GPU计算。
2023-02-03 00:03:52
6333
原创 使用PyTorch构建卷积神经网络（CNN）源码（详细步骤讲解+注释版） 01 手写数字识别
前面我们使用GAN构建了一个可以生成人脸图像的模型。但尽管是较为简单的模型，仍占用了1G左右的GPU内存，因此需要探索更加节约资源的方式。卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，主要应用于图像处理、语音识别等领域。它的主要思想是通过卷积操作对输入图像的特征进行提取，再通过多层网络对特征进行分类和判断。CNN的网络结构通常由卷积层、池化层和全连接层组成。
2023-02-02 13:54:53
7585
1
原创 城市POI数据爬取-百度地图版
目前百度地图的最新版为地图检索V2.0服务。详细介绍可以通过开发文档-web服务Api-地点检索V2.0获取。在使用API前需要提前注册账号获取ak。对于免费账号：目前的每日访问次数是100次，最多可以获取2000条数据。
2023-02-01 22:21:58
8979
4
原创 Python正则表达式语法快速入门
正则表达式需要与相关函数共同使用，对函数的学习可以参考：Python正则表达式所有函数详解首先看一下正则表达式中的常用符号
2023-02-01 14:59:05
6599
原创 使用PyTorch构建GAN生成对抗网络源码（详细步骤讲解+注释版）02 人脸识别 下
上一节，我们已经建立好了模型所必需的鉴别器类与Dataset类。接下来，我们测试一下鉴别器是否可以正常工作，并建立生成器。
2023-01-31 10:25:28
6648
Recommended Do’s and Don’ts for ArcGIS and ArcSWAT ArcSWAT使用指南
2023-05-15
chatGPT Cheat Sheat For Data Science
2023-05-11
逻辑回归算法推导与基于Python的实现详解
2023-03-24
分别使用LinearRegressio，Lasso，ridge, Elastic net线性回归模型预测 附逐句讲解
2023-03-18
线性回归 最小二乘法的求解推导与基于Python的底层代码实现 附逐句代码讲解（在博客中的机器学习算法专栏）
2023-03-18
芝加哥雨型生成器+暴雨强度生成器.rar
2023-03-14
celeba人脸识别训练集，以处理成h5py格式，显著提升数据读取与训练速度
2023-01-07
使用PyTorch逐步搭建神经网络代码（附逐句讲解）+模型优化
2023-01-02
使用PyTorch逐步搭建神经网络代码（附逐句讲解）
2023-01-02
使用Python完成InDesign软件内的对话框交互
2023-02-01
Pyechartsr如何将图例绘制在折线图外侧
2023-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人