- 博客(442)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 关于2022年-2024年个人公众号总结
从2019年到2025年也有6个年头了，本来想矫情一下，既没有矫情的资本，也没有矫情的水平，还是如流水账般对自己近三年的努力做一下总结吧。之所以是这三年，是因为最初的前三年每年都会总结一下，这几年里孩子也长大了，工作换了，连工作内容也换了，代码也不怎么写了，自己的技能当然一如既往的停留在初学状态，但初学不等于不学，已经成了技术人的唯一执念了。这三年里基本还是以Python为主，偶尔搞一下GIS和数...
2025-03-04 00:16:06
647
原创 关于2021年个人公众号总结
兜兜转转，又过了一年，2022年来了，自己又老了一岁，娃也长大了一岁，无聊的年底迎来了一波又一波的数字化考核，假的让人瞠目结舌。人生啊，处于上有老下有小的境地，工作呢，在甲乙丙丁戊各方中周...
2022-01-04 15:20:44
1363
1
原创 关于2020年个人公众号总结
年关将近，又到了一年一度的总结时候，本来写的好好的总结材料，结果没保存好，只好提笔重写写到哪里算哪里了。2020年是特别的，一场突如其来的新冠疫情从武汉爆发迅速席卷到全国，然后全世界也沦陷了，几乎影响和改变了每个人的生活，时至今日还在我们的生活中时不时的制造一些麻烦。疫情深刻地改变了全球政治、经济和人们的生活。对中国来说,中国方案和中国抗疫行动为世界在灾难面前保持了一份稳定的信心。也正因为中国方案和行动卓有成效,才迎来中国经济的稳步复苏和国内生活秩序的迅速恢复。这一成绩点亮了世界,也点亮了人们的内心。也
2020-12-30 00:35:32
1021
1
原创 关于我的公众号和公众号文章索引，请大家关注，谢谢
2019年公众号文章索引。有兴趣，大家可以关注，谢谢。目前差不多将近90篇了，有质量高的有质量低的，有懈怠的时候也有如期交付的时候，不管怎么样，算是坚持下来了，希望明年会更好。总的来说，搞技术要沉下来，不求尽如人意，但求问心无悔。链接太难搞了，偷偷懒，只贴标题和分类了。文章 类型 关于大数据运维能力的一些思考 IT业界 去IOEorNot? I...
2020-02-04 15:25:14
1062
原创 关于目标检测半自动标注界面、功能及代码框架
目标检测半自动标注功能结合了模型预测和人工标注的优势。系统首先使用训练好的模型对图像进行初步预测，生成预测标注框和标签，用户可以在此基础上进行修改和完善，从而提高标注效率和准确性。目标检测半自动标注的界面更像标注界面而不是预测界面。
2025-04-29 11:54:08
709
原创 关于目标检测预测界面、功能及代码框架
目标检测预测功能使用训练好的目标检测模型对图片或视频进行分析，识别其中的目标物体，并将检测结果以可视化的方式展示出来。用户可以通过该功能评估模型的性能，验证模型在实际应用中的效果。
2025-04-29 11:52:35
643
原创 关于目标检测训练界面、功能及代码框架
训练结束后，系统会根据控制台输出和 YOLO 训练产生的变量，计算各训练指标，并将这些指标显示在控制台区的训练图表中。：“模型名称（model）” 默认值为空，点击“选择模型文件”按钮，在弹出的文件选择对话框中选择预训练模型（.pt 文件），选择后文件路径将显示在相应的输入框中。：在控制台区的窗口的最后两行中找到Results saved to 的目录，在资源管理器打开，并找到其子目录weights，将best.pt拷贝到models目录下，并将文件名改名为数据集的名称，为将来预测做准备。
2025-04-25 07:15:43
898
原创 关于目标检测数据集划分界面、功能及代码框架
最后，系统会在目标数据集图片文件夹和目标 Text 标注文件夹中建立训练集、验证集和测试集的子目录，并将划分好的图片和标注文件移动到对应的子目录中。训练集用于模型的训练，验证集用于在训练过程中评估模型的性能，调整模型参数，测试集用于最终评估模型的泛化能力。：在设定目标文件区，点击“设定文件夹”按钮，分别为“目标数据集图片文件夹”和“目标 Text 标注文件夹”选择路径（yolo训练默认，images和labels在同一个文件夹下）。：在数据集划分区，有训练集、验证集和测试集的 CheckBox 选项。
2025-04-24 07:15:46
712
原创 关于目标检测图像增强界面、功能及代码框架
点击“数据增强”按钮后，系统会根据您选择的图像增强操作和对应的执行动作要求，在数据集图片文件夹和 Text 标注文件夹目录下新增对应的增强图像文件和增强后的标注文件。这是一个基于 PyQt5 的图形用户界面类，用于创建目标检测图像增强的操作界面，允许用户选择图像和标注文件夹，选择不同的图像增强方法并执行增强操作。遍历所选图片文件夹中的图片文件，根据用户勾选的增强功能复选框，对图片和对应的标注信息进行相应的增强处理，并保存增强后的结果。：对图像进行随机块遮挡增强，随机遮挡图像的某些区域，增加数据的复杂性。
2025-04-23 07:15:45
910
原创 关于目标检测标注格式转换界面、功能及代码框架
设置好三个文件夹路径后，点击“Json 转 Yolo 格式”按钮，系统会将 Json 标注文件夹中的所有 Json 标注文件转换为 Yolo 和 labelimg 格式的 TXT 标注文件，并将转换后的 TXT 文件保存到 Text 标注文件夹中。：在平台主界面中，找到并点击目标检测标注格式转换功能入口，进入格式转换界面。：设置好三个文件夹路径后，点击“XML 转 Yolo 格式”按钮，系统会将 XML 标注文件夹中的 XML 标注文件转换为 TXT 标注文件，并保存到 Text 标注文件夹中。
2025-04-22 00:02:52
395
原创 关于目标检测标注界面、功能及代码框架
选择后，图片文件夹的全路径将显示在对应的主界面上，图片预览区将显示该文件夹中第一张图片的缩略图，图像标注区将自动加载并展示该图片，图片会自适应图像标注区的大小，不会出现变形。：为了以更好的视角进行图像标注，可点击操作设置区的“放大”或“缩小”按钮，图像标注区的图片会相应地进行放大或缩小操作，标注框也会同步进行缩放，并且标注的位置会根据缩放比例进行准确还原。选择后，图片文件的全路径将显示在对应的主界面上，图片预览区显示该图片的缩略图，图像标注区展示完整图片。：将当前图像的标注信息保存为 XML 格式的文件。
2025-04-21 00:00:32
722
原创 图像分类和检测一体化平台功能介绍
这个系统利用周末或晚上时间陆陆续续做了将近两个月，基本上实现了从数据标注、标注格式转换、数据集划分、数据增强、训练、预测、半自动标注的完整流程，涵盖了图像分类和图像检测，功能超越了市面上绝大多数工具，界面不一定很美观，代码不一定很优雅，所以在开源方面比较犹豫，先把每个部分陆陆续续放出来吧，界面和代码框架，看看反应如何。：包括目标检测标注、训练、标注格式转换、图像增强、数据集划分、预测以及半自动标注等功能，满足从数据准备到模型应用的全流程需求。
2025-04-18 11:59:49
557
原创 天雷滚滚我好怕怕，大家都来手搓哪吒
为了这部电影，他耗时数年，从剧本的反复雕琢，到人物形象的精心设计，再到每一帧画面的细腻打磨，无不彰显着他对动画的热爱与执着。这一成绩的取得，绝非偶然。如果你也是一个热爱哪吒的人，不妨也拿起手中的画笔，或者用其他方式，创作出属于自己的哪吒。虽然我的画技可能比不上专业的画师，但我相信，我对哪吒的热爱都融入到了每一笔、每一划之中。我希望通过我的画，能让更多的人感受到哪吒的魅力，感受到中国传统文化的博大精深。从哪吒那标志性的黑眼圈，到他充满力量感的身形，再到他手中的混天绫和火尖枪，每一个细节我都反复琢磨。
2025-03-19 00:57:30
254
原创 一文读懂大语言模型提示词，让你轻松玩转 AI 时代！
如果你不幸进来了，这恰恰是提示词的功效，因为标题就是提示词给出的。提示词工程，又叫Prompt Engineering，是一种专门针对语言模型进行优化的方法。它的目标是通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型交互时，无论是智谱清言、deepseek、豆包还是ChatGPT，给定的提示词会极大地影响模型的响应内容和质量。提示词...
2025-02-28 00:00:27
341
原创 大数据分析之异常值检测后的数据处理方法
异常值处理的常用方法包括以下几种：删除观测值：直接删除异常值是最简单的方法，但可能会导致样本量不足，改变变量的原有分布，从而影响统计模型的稳定性。保留并综合分析：通过回归分析，利用残差分布信息来判断模型优劣，观察残差是否超出经验范围（如3倍标准差），并检查R方、均分误差等指标，这些指标可以提供关于异常值的信息。使用统计量替代：如果样本量较小，可以用均值或其他统计量来替代异常值。这...
2025-02-27 01:04:09
382
原创 大数据分析之异常值检测（基于pyod的24种异常值检测算法）
PyOD是一个全面且易于使用的Python库，专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据，它们可能表示错误、噪声或潜在的有趣现象。PyOD为异常值检测提供了广泛的算法集合，适用于有监督和无监督的场景。无论处理的是带标签的数据还是未带标签的数据，PyOD都提供了一系列技术来满足特定需求。PyOD的突出特性之一是其用户友好的API，使新手和有经验的从业者都可以...
2025-02-26 00:27:42
339
原创 大数据分析之异常值检测（基于Zscore、指定分位数和基于密度算法）
异常值是指那些显著偏离其他观测值的数据点，这些值可能由于错误、偏差或自然变异而产生，当然也可能本身在业务上就是合理的。异常值也被称为离群点，它们可能会扭曲统计分析的结果，导致错误的结论和决策。一、异常值检测的重要性数据质量保障：异常值可能源于数据采集、传输或存储中的错误，检测并处理这些异常值有助于提升数据质量，确保分析结果的准确性。提升模型性能：异常值会影响机器学习模型的训练效果，导致模型偏差...
2025-02-25 06:55:24
1121
原创 大数据分析之缺失值处理，多种方法带你轻松搞定
在Python中处理缺失值至关重要，因为缺失值可能导致数据分析结果出现偏差，影响模型的准确性和可靠性。如果不对缺失值进行处理，统计分析可能会产生误导性的结论，机器学习模型也可能因为数据的不完整性而无法有效学习数据中的模式。因此，选择合适的数据处理方法对于维持数据完整性并提升模型训练效率至关重要。常见的数据缺失值处理方法包括：1、删除含有缺失值的行或列：简单直接，但可能丢失重要信息。2、填充缺失值：...
2025-02-24 08:15:20
971
原创 关于机器学习-基于2023年度各省统计数据的十一种聚类方法（DBSCAN、GaussianMixture、Birch等）和可视化...
scikit-learn库中使用10种不同的聚类算法，包括AP聚类、聚合聚类、BIRCH、DBSCAN、K-均值、Mini-BatchK-均值、MeanShift、OPTICS、谱聚类和高斯混合模型。其中例如Kmean聚类、谱聚类、高斯混合模型等需要指定聚类数量，其他一些不需要。如前文所述，聚类的结果虽然有一些量化标准，但更多的取决于个人的主观判断cluster.MeanShift是一种基于核密度...
2025-02-21 00:00:12
265
原创 关于机器学习-基于2023年度各省统计数据的降维后再Kmean聚类后的另一种可视化...
本文和前文在数据标准化、降维和聚类方法上是一致的，在可视化上略有不同，前文仅限于地理数据的可视化，本文可拓展到各类数据，理论上2维数据、三维数据等更高维度的数据，均可实现可视化。此处代码和前文是一致的，因此不再赘述。#导入库importpandas as pd#panda库importmatplotlib.pyplot as pltfrom sklearn.preprocessingi...
2025-02-20 08:15:38
144
原创 DeepSeek Step by Step（4）——通过AnythingLLM打造自己的知识库
RAG（Retrieval-Augmented Generation）是一种结合了信息检索和语言生成技术的人工智能模型，旨在通过引用外部知识库来优化大语言模型的生成结果，从而提高预测的质量和准确性。AnythingLLM则是一个更广泛的概念，指的是将所有可用的语言模型资源整合到一个统一的平台上，提供全面的语言处理能力。这种整合可以包括多个LLM模型、不同的知识库和各种工具，形成一个综合的语言处...
2025-02-19 00:06:25
937
原创 关于机器学习-基于2023年度各省统计数据的降维后再Kmean聚类
在机器学习中，PCA（主成分分析）和K-Means聚类是两种非常实用的技术，尤其在数据预处理和无监督学习中。PCA是一种降维方法，通过减少数据集的特征数量来简化数据，同时保留大部分的变异性。这有助于我们更好地理解和分析数据。K-Means则是一种聚类算法，能够将数据分成几个不重叠的群组或“簇”。这种算法常用于发现数据的内在结构和模式。KMeans聚类前进行降维的主要原因是为了提高算法的效率和效果...
2025-02-18 08:10:39
304
原创 关于机器学习-基于2023年度各省统计数据的数据标准化、Kmean聚类和结果可视化...
sklearn.cluster.KMeans 是 Python 中 Scikit-learn 库提供的一个非常流行和常用的聚类算法，用于将数据分成预先指定的数量（即“k”个）集群。尽管 KMeans 算法在很多情况下表现良好，但它也有一些缺点和局限性：对初始化的敏感性：KMeans 算法的性能很大程度上依赖于初始质心（centroids）的选择。不同的初始化可能导致算法收敛到局部最优解，而非全局最...
2025-02-17 07:15:16
832
原创 关于机器学习-基于2023年度各省统计数据的Kmean聚类
K-Means聚类算法是一种常用的聚类方法，具有简单、快速的特点，适用于处理大数据集。基本原理K-Means聚类算法的核心思想是将数据集分成K个簇，每个簇由其质心（中心点）代表。算法首先随机选择K个数据点作为初始质心，然后根据每个数据点到各个质心的距离，将其分配到最近的质心所代表的簇中。接着，重新计算每个簇的质心，如果新的质心与旧的质心变化很小，则算法收敛，聚类结束；否则继续迭代。但看算法本...
2025-02-16 01:11:34
269
原创 DeepSeek Step by Step（3）——构建web化访问页面
如前文所述，构建web化访问页面有多种方式，flask、streamlit、gradio都可以，也看过很多基于streamlit、gradio开发简单机器学习和人工智能的页面，毕竟内置了很多组件，这些组件自带CSS，比flask从头到尾构建还是快速很多，虽然笔者对后两者没怎么研究过，但不妨碍就学习deepseek而言只是做个尝试性的demo。Streamlit 和 Gradio 都是用于构建和部署...
2025-02-13 07:15:26
356
原创 DeepSeek Step by Step（2）——构建本地交互应用
DeepSeek的迅速蹿红，也导致了目前收费的提升和服务质量的下降，同时随着DeepSeek的爆火和出圈、以及社区的完善和上手门槛的降低，大模型与普通人的距离也越来越近，对于IT人士而言可以不用钻研太多，但必须主动会用。对我们而言，构建本地交互应用无非两种形式，工具或代码，主流的工具如Open WebUI和Chatbox AI；代码则包括以下几种方式（来自于deepseek的回答）：方式 1，使用...
2025-02-12 08:15:20
342
原创 DeepSeek Step by Step（1）——本地化配置和部署
DeepSeek是一款由国内人工智能公司研发的大型语言模型，拥有强大的自然语言处理能力，能够理解并回答问题，还能辅助写代码、整理资料和解决复杂的数学问题。DeepSeek R1则像2023年初OpenAI的ChatGPT一样,让所有人真正感受到了这种震撼,这是DeepSeek R1出圈的非常重要的原因。当然震撼是可以看得到的，受中国人工智能初创公司——深度求索公司冲击，引发的美国人工智能主题股票以...
2025-02-11 08:43:05
752
原创 关于TikTok 难民和引发的思考
一觉醒来，打开小红书的瞬间，宛如踏入了一个全新的世界。首页推荐不再是清一色精致淡雅的图文笔记，大量风格迥异、节奏明快的短视频如潮水般涌来。屏幕上满是夸张的表情、活力四射的舞蹈和极具冲击力的视觉效果，这一切都在宣告着 “TikTok 难民” 的强势入驻。关于TikTok 难民：TikTok 自推出以来，凭借其创新的短视频模式、强大的算法推荐以及丰富多元的内容，在全球范围内迅速走红。在美国，TikTo...
2025-01-16 12:51:48
762
原创 关于FastAPI文档无法显示的问题
Python调试和部署总会碰到各种各样的问题，Python的版本问题，各种包的版本问题，Python的调试和部署快成了一门玄学，这次遭遇到的是FastAPI文档界面无法显示的问题，中间也测试过几种方案。FastAPI部署后，各页面均正常响应，除了文档页，经查证是FastAPI接口文档中默认使用的是https://cdn.jsdelivr.net/npm/swagger-ui-dist@5.9.0/...
2024-03-12 09:30:33
874
原创 QGIS文章五——对遥感影像进行土地类型分类—监督分类（dzetsaka : classification tool）
dzetsaka classification tool是QGIS的强大分类插件，目前主要提供了高斯混合模型分类器、Random Forest、KNN和SVM四种分类器模型，相比于SCP(Semi-Automatic Classification)，他的一个特点就是功能专一，操作简单。从十一月开始一直忙于写个可研材料，持续忙了20天，此外关于训练这事儿，主要因素一个是数据标注，一个是摸索工具，另外...
2023-11-22 22:47:16
2148
2
原创 QGIS文章五——对遥感影像进行土地类型分类-选择遥感影像
关于下载遥感影像的地方有很多：1、国家综合地球观测数据共享平台（https://www.chinageoss.cn/）2、地理空间数据云（https://www.gscloud.cn/）3、美国地质勘探局官网（https://earthexplorer.usgs.gov/）一来几乎所有网站都需要注册，国内网站还需要审核下载，并且需要等待，此外下载下来之后，会发现分辨率太低，还远不如天地图/高德地图...
2023-10-06 09:05:50
842
原创 QGIS文章四——对遥感影像进行土地类型分类
关于土地类型分类，按照性质、用途、利用现状有不同的分类标准。一、按照国家土地性质分类标准，一般分五类:商业用地、综合用地、住宅用地、工业用地和其他用地。二、按照用途进行土地分类：可以分为农用地、建设用地和未利用土地，其中农用地是指直接用于农业生产的土地，包括耕地、林地、草地、农田水利用地、养殖水面等；建设用地是指建造建筑物、构筑物的土地，包括城乡住宅和公共设施用地、工矿用地、交通水利设施用地、旅游...
2023-10-05 00:00:46
645
原创 关于GIS数据分类方式
GIS数据有很多种分类方式，按照数据结构可分为矢量数据、栅格数据、DEM数据，还可以再细致的分为数据库格式、点云格式、3D格式，也可以按照各厂家和标准类别来分等等。笔者也是GIS小白，在这里把收集到的素材略加整理，万一碰到形形色色的GIS文件，不至于显得太意外。一、栅格数据栅格数据由像素组成。它们通常间隔规则且呈方形，但不必如此。栅格通常看起来像素化，因为每个像素都有自己的值或类。1. netCD...
2023-10-04 08:05:48
479
原创 QGIS文章三——模拟风暴潮水淹
之前工作中处理过风暴潮的数据，也获取到了不同等级台风水淹的DEM数据，不过还是很好奇是怎么推演出来的，最近一段时间看QGIS比较多，加上看到了一篇文章《GIS软件进行风暴潮沿海洪水建模》，于是简单尝试了一下，我也东施效颦了一把。主要目的是看一下海口市在风暴潮1米、2米、5米、10米情况下的水淹情况，当然这个肯定不精准，未考虑到承灾体、城市建设等情况。前置条件：还是承接上文，把海口高程地图从海南的...
2023-10-03 08:05:12
314
原创 QGIS文章二——DEM高程裁剪和3D地形图
经常看到别人基于高程文件制作出精美的3D地图，笔者按照互联网几种制作方式进行尝试后，写的DEM高程裁剪和3D地形图教程，或许其中有一些错误的，也请指出。本文基于海南省的shp文件和海南省DEM高程文件，制作海口地区的3D地形图。前置条件：1、下载DEM高程文件到 https://dwtkns.com/srtm30m/ 下载2、获取海南省各市县边界shp文件自行到互联网搜索3、参考前文配置天地图底图...
2023-10-02 17:16:45
914
原创 QGIS文章一——实现天地图加载
无论是农业科学还是海洋科学，对地图的处理和数值模型的计算是少不了的，地图是可视化的基础，先有了基础再进行开始某些复杂处理，进而开始模拟推演，最后进行数值模拟和计算。QGIS（原称Quantum GIS）是一个自由软件的桌面GIS软件。它提供数据的显示、编辑和分析功能。QGIS是一个用户界面友好的桌面地理信息系统，可运行在Linux、Unix、Mac OSX和Windows等平台之上。QGIS是基于...
2023-10-01 17:25:03
676
1
原创 基于Yolov8网络进行目标检测（三）-训练自己的数据集
前一篇文章详细了讲解了如何构造自己的数据集，以及如何修改模型配置文件和数据集配置文件，本篇主要是如何训练自己的数据集，并且如何验证。VOC2012数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/coco全量数据集下载地址：http://images.cocodtaset.org/annotations/annotations_train...
2023-09-16 00:00:19
4310
6
原创 基于Yolov8网络进行目标检测（二）-安装和自定义数据集
关于Yolov8的安装在前一个环节忽略了，其实非常简单，只需要以下两个步骤：1、安装pytorchpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1182、安装ultralyticspip install ultralytics为什么把目录结构单独拿出来扯呢？这个和训...
2023-09-15 00:00:57
1095
原创 基于Yolov8网络进行目标检测（一）-介绍和预测
之前提到过目标检测模型分为两类。一类是two-stage，将物体识别和物体定位分为两个步骤分别完成，这一类的典型代表是R-CNN, fast R-CNN, faster-RCNN家族。他们识别错误率低，漏识别率也较低，但是由于网络结构参数的计算量大，导致其检测速度慢，不能满足实时检测场景。为了解决精度与速度并存的问题，另一类方式出现了，称为one-stage, 典型代表是Yolo, SSD, Yo...
2023-09-13 01:25:40
1584
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（二）——预训练模型和预测
CoCo的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，包括检测、分割、关键点估计等任务，目前用的比较多的是Coco2017数据集。Coco2017数据集是一个包含有大量图像和标注数据的开放数据集，它是微软公司在COCO项目基础上发展而来。这个数据集主要包含了种场景下的图片，包括人物、动物、物品等各种目标。同时，它还包含了很多不同的属性...
2023-09-08 00:00:53
1147
SQLSERVER2008存储结构二_GAM、SGAM、PFS、IAM、DCM、BCM.doc
2010-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人