- 博客(416)
- 资源 (4)
- 收藏
- 关注
原创 关于2021年个人公众号总结
兜兜转转,又过了一年,2022年来了,自己又老了一岁,娃也长大了一岁,无聊的年底迎来了一波又一波的数字化考核,假的让人瞠目结舌。人生啊,处于上有老下有小的境地,工作呢,在甲乙丙丁戊各方中周...
2022-01-04 15:20:44 1328 1
原创 关于2020年个人公众号总结
年关将近,又到了一年一度的总结时候,本来写的好好的总结材料,结果没保存好,只好提笔重写写到哪里算哪里了。2020年是特别的,一场突如其来的新冠疫情从武汉爆发迅速席卷到全国,然后全世界也沦陷了,几乎影响和改变了每个人的生活,时至今日还在我们的生活中时不时的制造一些麻烦。疫情深刻地改变了全球政治、经济和人们的生活。对中国来说,中国方案和中国抗疫行动为世界在灾难面前保持了一份稳定的信心。也正因为中国方案和行动卓有成效,才迎来中国经济的稳步复苏和国内生活秩序的迅速恢复。这一成绩点亮了世界,也点亮了人们的内心。也
2020-12-30 00:35:32 984 1
原创 关于我的公众号和公众号文章索引,请大家关注,谢谢
2019年公众号文章索引。有兴趣,大家可以关注,谢谢。目前差不多将近90篇了,有质量高的有质量低的,有懈怠的时候也有如期交付的时候,不管怎么样,算是坚持下来了,希望明年会更好。总的来说,搞技术要沉下来,不求尽如人意,但求问心无悔。链接太难搞了,偷偷懒,只贴标题和分类了。文章 类型 关于大数据运维能力的一些思考 IT业界 去IOEorNot? I...
2020-02-04 15:25:14 1012
原创 关于FastAPI文档无法显示的问题
Python调试和部署总会碰到各种各样的问题,Python的版本问题,各种包的版本问题,Python的调试和部署快成了一门玄学,这次遭遇到的是FastAPI文档界面无法显示的问题,中间也测试过几种方案。FastAPI部署后,各页面均正常响应,除了文档页,经查证是FastAPI接口文档中默认使用的是https://cdn.jsdelivr.net/npm/swagger-ui-dist@5.9.0/...
2024-03-12 09:30:33 633
原创 QGIS文章五——对遥感影像进行土地类型分类—监督分类(dzetsaka : classification tool)
dzetsaka classification tool是QGIS的强大分类插件,目前主要提供了高斯混合模型分类器、Random Forest、KNN和SVM四种分类器模型,相比于SCP(Semi-Automatic Classification),他的一个特点就是功能专一,操作简单。从十一月开始一直忙于写个可研材料,持续忙了20天,此外关于训练这事儿,主要因素一个是数据标注,一个是摸索工具,另外...
2023-11-22 22:47:16 1621 1
原创 QGIS文章五——对遥感影像进行土地类型分类-选择遥感影像
关于下载遥感影像的地方有很多:1、国家综合地球观测数据共享平台(https://www.chinageoss.cn/)2、地理空间数据云(https://www.gscloud.cn/)3、美国地质勘探局官网(https://earthexplorer.usgs.gov/)一来几乎所有网站都需要注册,国内网站还需要审核下载,并且需要等待,此外下载下来之后,会发现分辨率太低,还远不如天地图/高德地图...
2023-10-06 09:05:50 570
原创 关于GIS数据分类方式
GIS数据有很多种分类方式,按照数据结构可分为矢量数据、栅格数据、DEM数据,还可以再细致的分为数据库格式、点云格式、3D格式,也可以按照各厂家和标准类别来分等等。笔者也是GIS小白,在这里把收集到的素材略加整理,万一碰到形形色色的GIS文件,不至于显得太意外。一、栅格数据栅格数据由像素组成。它们通常间隔规则且呈方形,但不必如此。栅格通常看起来像素化,因为每个像素都有自己的值或类。1. netCD...
2023-10-04 08:05:48 359
原创 QGIS文章三——模拟风暴潮水淹
之前工作中处理过风暴潮的数据,也获取到了不同等级台风水淹的DEM数据,不过还是很好奇是怎么推演出来的,最近一段时间看QGIS比较多,加上看到了一篇文章《GIS软件进行风暴潮沿海洪水建模》,于是简单尝试了一下,我也东施效颦了一把。主要目的是看一下海口市在风暴潮1米、2米、5米、10米情况下的水淹情况,当然这个肯定不精准,未考虑到承灾体、城市建设等情况。前置条件:还是承接上文,把海口高程地图从海南的...
2023-10-03 08:05:12 199
原创 QGIS文章二——DEM高程裁剪和3D地形图
经常看到别人基于高程文件制作出精美的3D地图,笔者按照互联网几种制作方式进行尝试后,写的DEM高程裁剪和3D地形图教程,或许其中有一些错误的,也请指出。本文基于海南省的shp文件和海南省DEM高程文件,制作海口地区的3D地形图。前置条件:1、下载DEM高程文件到 https://dwtkns.com/srtm30m/ 下载2、获取海南省各市县边界shp文件自行到互联网搜索3、参考前文配置天地图底图...
2023-10-02 17:16:45 773
原创 QGIS文章一——实现天地图加载
无论是农业科学还是海洋科学,对地图的处理和数值模型的计算是少不了的,地图是可视化的基础,先有了基础再进行开始某些复杂处理,进而开始模拟推演,最后进行数值模拟和计算。QGIS(原称Quantum GIS)是一个自由软件的桌面GIS软件。它提供数据的显示、编辑和分析功能。QGIS是一个用户界面友好的桌面地理信息系统,可运行在Linux、Unix、Mac OSX和Windows等平台之上。QGIS是基于...
2023-10-01 17:25:03 560 1
原创 基于Yolov8网络进行目标检测(三)-训练自己的数据集
前一篇文章详细了讲解了如何构造自己的数据集,以及如何修改模型配置文件和数据集配置文件,本篇主要是如何训练自己的数据集,并且如何验证。VOC2012数据集下载地址:http://host.robots.ox.ac.uk/pascal/VOC/voc2012/coco全量数据集下载地址:http://images.cocodtaset.org/annotations/annotations_train...
2023-09-16 00:00:19 4061 6
原创 基于Yolov8网络进行目标检测(二)-安装和自定义数据集
关于Yolov8的安装在前一个环节忽略了,其实非常简单,只需要以下两个步骤:1、安装pytorchpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1182、安装ultralyticspip install ultralytics为什么把目录结构单独拿出来扯呢?这个和训...
2023-09-15 00:00:57 954
原创 基于Yolov8网络进行目标检测(一)-介绍和预测
之前提到过目标检测模型分为两类。一类是two-stage,将物体识别和物体定位分为两个步骤分别完成,这一类的典型代表是R-CNN, fast R-CNN, faster-RCNN家族。他们识别错误率低,漏识别率也较低,但是由于网络结构参数的计算量大,导致其检测速度慢,不能满足实时检测场景。为了解决精度与速度并存的问题,另一类方式出现了,称为one-stage, 典型代表是Yolo, SSD, Yo...
2023-09-13 01:25:40 1393
原创 基于Pytorch构建Faster-RCNN网络进行目标检测(二)——预训练模型和预测
CoCo的全称是Common Objects in Context,是微软团队提供的一个可以用来进行图像识别的数据集,包括检测、分割、关键点估计等任务,目前用的比较多的是Coco2017数据集。Coco2017数据集是一个包含有大量图像和标注数据的开放数据集,它是微软公司在COCO项目基础上发展而来。这个数据集主要包含了种场景下的图片,包括人物、动物、物品等各种目标。同时,它还包含了很多不同的属性...
2023-09-08 00:00:53 990
原创 基于Pytorch构建Faster-RCNN网络进行目标检测的一段插曲-安装GPU环境
因工作原因,原来的台式机工作站发生了变更,除了GPU显卡(NVIDIA GeForce GTX 1660显卡变成了NVIDIA Quadro P2200显卡)以外,其他配置都差不多,从网上查阅NVIDIA Quadro P2200相当于NVIDIA GeForce GTX 1660显卡。NVIDIA Quadro P2200是一款NVIDIA品牌的显卡,制作工艺为28纳米。NVIDIAQuadro...
2023-09-05 16:53:22 196
原创 基于Pytorch构建Faster-RCNN网络进行目标检测(一)
尽管R-CNN是物体检测的鼻祖,但其实最成熟投入使用的是faster-RCNN,而且在pytorch的torchvision内置了faster-RCNN模型,当然还内置了mask-RCNN,ssd等。既然已经内置了模型,而且考虑到代码的复杂度,我们也无需再重复制造轮子,但对模型本身还是需要了解一下其原理和过程。FasterRCNN 的整体框架按照功能区分,大致分为4个模块,分别是特征提取网络ba...
2023-09-04 12:30:18 846
原创 关于目标检测鼻祖R-CNN论文
R-CNN系列论文是使用深度学习进行物体检测的鼻祖论文,其中fast-RCNN 以及faster-RCNN都是沿袭R-CNN的思路。R-CNN全称region with CNN features,其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues,然后进行SVM分类与bbox的回归Rich feature hierarchies for accurat...
2023-08-23 00:00:42 144
原创 关于图像分类、图像识别和目标检测异同
计算机视觉是人工智能领域的一个重要分支,它旨在构建能够理解和处理图像、视频等视觉信息的计算机系统。在计算机视觉领域中,图像分类、图像识别和目标检测是三个重要的任务,当然目标跟踪、图像生成也是新的方向和延伸。其实下面这幅图已经非常准确地说明图像分类、图像识别和目标检测的区别和共同点。 一、图像分类 图像分类的目的是将一张图像分到某个预定义的类别中。一般意义上的图像分类是指单标签分类,和...
2023-08-22 00:00:21 697
原创 基于Pytorch构建DenseNet网络对cifar-10进行分类
DenseNet是指Densely connected convolutional networks(密集卷积网络)。它的优点主要包括有效缓解梯度消失、特征传递更加有效、计算量更小、参数量更小、性能比ResNet更好。它的缺点主要是较大的内存占用。DenseNet网络与Resnet、GoogleNet类似,都是为了解决深层网络梯度消失问题的网络。Resnet从深度方向出发,通过建立前面层与后面层之...
2023-08-21 00:00:13 312
原创 基于Pytorch构建ResNet网络对cifar-10进行分类
何凯明等人在2015年提出的ResNet,在ImageNet比赛classification任务上获得第一名,获评CVPR2016最佳论文。自从深度神经网络在ImageNet大放异彩之后,后来问世的深度神经网络就朝着网络层数越来越深的方向发展,从LeNet、AlexNet、VGG-Net、GoogLeNet。直觉上我们不难得出结论:增加网络深度后,网络可以进行更加复杂的特征提取,因此更深的模型可以...
2023-08-20 12:34:29 191
原创 基于Pytorch构建GoogLeNet网络对cifar-10进行分类
GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构,在这之前的AlexNet、VGG等结构都是通过增大网络的深度(层数)来获得更好的训练效果,但层数的增加会带来很多负作用,比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果:能更高效的利用计算资源,在相同的计算量下能提取到更多的特征,从而提升训练结果。incept...
2023-08-19 01:42:53 367
原创 基于Pytorch构建VGG-16Net网络对cifar-10进行分类
VGGNet发布于 2014 年,作者是 Karen Simonyan 和 Andrew Zisserman,该网络表明堆叠多个层是提升计算机视觉性能的关键因素。VGGNet 包含 11层或13层或16层 或 19 层,主要由小型的 3×3 卷积操作和 2×2 池化操作组成。基本组成部分是:1. 带填充以保持分辨率的卷积层;2. 非线性激活函 数,如ReLU;3. 汇聚层,如最大池化层。VGG 的...
2023-08-17 08:40:40 364
原创 基于Pytorch构建AlexNet网络对cifar-10进行分类
AlexNet网络是CV领域最经典的网络结构之一了,在2012年横空出世,并在当年夺下了不少比赛的冠军。也是在那年之后,更多的更深的神经网络被提出,比如优秀的vgg,GoogLeNet。AlexNet和LeNet的设计非常类似,但AlexNet的结构比LeNet规模更大。AlexNet的结构比LeNet规模更大,AlexNet包含8层变换,其中包含5层卷积和2层全连接隐藏层,以及最后的一个全连接的...
2023-08-16 00:58:27 1130
原创 基于Pytorch构建LeNet网络对cifar-10进行分类
LeNet5诞生于1994年,是最早的卷积神经网络之一,是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构,是一种用于手写体字符识别非常高效的网络。一般LeNet即指代LeNet5。LeNet5 这个网络虽然很小,但是它包含了深度学习的基本模块:卷积层,池化层,全连接层,是其他深度学习模型的基础。LeNet5由七层组成(不包括输入层),每一层都包含可训练权重。通过卷积、池化等操作进行...
2023-08-15 10:10:34 253
原创 PyQT模块、类、控件介绍
最近在搞一些基于PyQT的开发,开发过程中一直对PyQT相关模块、类、控件比较模糊,于是花了一些力气,去收集和整理了一下PyQT的一些基础,希望对大家有帮助!PyQT模块QtCore模块涵盖了包的核心的非GUI功能,此模块被用于处理程序中涉及的时间、文件、目录、数据类型、文本流、链接、QMimeData、线程或进程等对象。QtGui模块涵盖了多种基本图形功能的类,包括但不限于:窗口集、事件处理、2...
2023-08-02 10:10:44 269
原创 基于PyQt5开发图像标注版本5终版-多标注框+标注标签+高亮和删除标签+打开图片文件+保存标注格式...
随着功能越来越多,代码也越来越多,为了让这个标注原型工具有始有终,给他加了两个按钮,打开图片文件,保存标注文件,代码也到了解耦的时候了,这次一共涉及到三个python文件,其实还可以将UI和逻辑做进一步解耦,另外最后也懒了,关于保存标注文件的代码并未真正完成,一来最近事情多了起来,一来不值得为一个原型投入太多精力,后面完整版的也不会发出来。所以这个图像标注原型版本也接近了尾声。ui_labelCh...
2023-07-27 10:30:08 1122 20
原创 基于PyQt5开发图像标注版本4-多标注框+标注标签+高亮和删除标签
4.0版本在3.0版本基础上增加了双击某个位置时,如果这个位置在标注框内,则对选中的标注框进行标识出来,同时提示是否要删除当前选中的标注框,进行删除处理。在这个版本中首先需要增加双击事件,在双击事件中对当前鼠标位置是否属于某个标注框进行遍历,某个位置可能属于多标注框时,则按照先入后出的原则,进行删除。在绘制事件中主要是对当前位置所在的标注框进行区分显示。其他代码基本未变。一、修改MyLabel代码...
2023-07-26 10:00:42 504
原创 基于PyQt5开发图像标注版本3-多标注框+标注标签
这个图像标注版本在前面多标注框基础上,增加了标注标签的选择,同时修正了一下之前绘制最后一个标注框的显示问题,现在看起来更像一个标注软件了。参照labelImg的样式定义了一个自定义Dialog窗口,在这个窗口中加载了标注标签列表文件,同时这个标签是要必须选择的,或者取消。对多标注框的代码重新做了优化,一个是关于正在绘制的标注框的显示问题,如果标签取消,则不予绘制,如果选择了标签才绘制出来一、通过q...
2023-07-25 00:00:32 520
原创 基于PyQt5开发图像标注版本2-多标注框
在网上能看到的图像标注版本多是图像标注版本1的代码,但图像标注不仅只保存一个标注框,通常都是多个标注框,而且要把这些标注框信息记录下来,当然代码也是在网上找到的,做了一些改动。多标注的秘诀就在于增加一个bboxList列表,记录每次释放鼠标时的起始结束位置以及其他信息,在绘制事件中,将过往的bboxList存储的点位信息重新绘制出来。一、在MyLabel初始化过程中,增加一个self.bboxLi...
2023-07-24 08:00:13 301 1
原创 基于PyQt5开发图像标注版本1-基本标注框
关于图像标注软件,业界已经有LabelImg、Labelme、VATIC、Label Studio、Prodigy、Datasaur等开源或商业的工具。由于某种需要,本人需要开发一款数据标注工具,也尝试过阅读Labelme和LabelImg代码,但无奈水平有限放弃了,最后决定借鉴其标注界面和思想。此外图像标注,之前试过simpleGUI,但交互性有点弱,决定用pyqt5重构一下,图像标注主要包括图...
2023-07-23 09:12:44 655 1
原创 使用supervisor+uvicorn部署FastAPI应用
之前通过gensim和chatyuan部署了两个机器人,其中gensim用于提供检索机器人,chatyuan用于提供生成式机器人,为了提供web接口服务,又部署了FastAPI,FastAPI 是一个高性能 Web 框架,用于构建 API应用,FastAPI内置了一个uvicorn服务,uvicorn 是一个闪电般快速的 ASGI 服务器,基于 uvloop 和 httptools 构建。但部署在...
2023-05-04 18:30:14 2005 1
原创 通过docxtpl 自动生成数据库设计文档
docxtpl这是一个比较冷门的 Python 库,而且库中的函数也不多,才几个,但功能却很专一。如果说 docx 库的强大在于生成我们想要的 Word 文档,那么 Docxtpl 库的存在就是将这些文档按固定格式输出。今天在编写数据库结构文档,想到如此重复的工作,自然有系统办法实现,就找到了这个库。docxtpl是基于python-docx和jinja2开发出来的库。他通过对docx文档模版加载...
2023-03-07 16:26:59 687
原创 通过seaborn对全球204个国家和地区进行定量分析
数据集为全球204个国家和地区的经济、外贸、寿命、疫情数据,主要以2021年数据为基准,部分缺失国家采用了2020年的数据。本文通过seaborn对世界数据进行定量和定性分析。国际组织评定一个国家是否属于发达国家所考虑的指标除了该国的GDP规模之外,还会考虑其人均GDP/GNI、工业化水平、国民生活水平和它拥有的技术基础设施数量。除此之外,不过国际组织还会根据自身针对的领域特点,加入其他的考核因素...
2023-03-05 08:05:04 394
原创 通过Python爬取和解析海口历史天气
通过Python做数据分析,首先需要数据源,数据源有多种获取方式,一种来自数据库,一种来自表格,一种是自力更生到互联网上爬取数据。当然小批量数据可以直接拷贝下来即可,定期更新的或大批量或者有规律的数据建议还是通过爬虫获取。Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库,简单来说,它能将HTML的标签文件解析成树形结构,然后方便地获取到指定标签的对应属性。通过...
2023-02-28 00:11:12 171
转载 关于PostgreSQL解锁笔记
第一次在PostgreSQL中解锁,做下记录,仅此而已锁表通常发生在 DML( insert 、update 、delete )语句中,例如:程序 A 对 A 表的 a 数据 进行修改,修改过程中产生错误,没有 commit 也没有 rollback ,这个时候程序 B 对 A 表的 a 数据进行修改,会产生资源正忙的异常,也就是锁表。下面是解锁过程select oid from pg_class...
2023-02-21 10:39:29 472
转载 解决No module named pip问题
做下笔记,总是碰到no module named pip错误,安装不能按照,更新不能更新,每次都得搜索一下,这次记一下,希望后续好找一些python -m pip install --upgrade pip输入运行后如果出现错误“no module named pip”,则运行以下指令:python -m ensurepipeasy_install pippython -m pip install...
2023-02-17 00:25:06 343
原创 记录一下PostgreSQL的备份和还原
工作原因,记录一下PostgreSQL的备份和还原,无他pg_dump是用于备份一种PostgreSQL数据库的工具。即使数据库正在被并发使用,它也能创建一致的备份。pg_dump不阻塞其他用户访问数据库(读取或写入)。pg_dump只转储单个数据库。要备份一个集簇中 对于所有数据库公共的全局对象(例如角色和表空间),应使用 pg_dumpall。转储可以被输出到脚本或归档文件格式。脚本转储是包含...
2023-02-08 12:34:18 378
原创 Yolo实用指南(step by step)之四yolov5预测数据
多劫多难的预测数据路程,看起来距离胜利已经伸手可及,但确折腾了整整好几天。1、第一次经历,参考Yolo实用指南(step by step)之三yolov5训练自己的数据集在训练数据和验证数据都已经OK了,但在预测数据的时候,一直没有预测框出来,经过核查发现pred tensor都是nan。网上各种方案都有,有的说是pytorch版本不对,有的说是yolov5和权重版本不对,有的要改代码,反正折腾了...
2023-01-30 16:36:21 590
转载 2023年除夕守岁
鞭炮声声辞旧岁,红灯高高照吉祥,春联红红写如意,水饺香香包幸福,酒杯满满碰快乐,短信条条送祝福,春节到,愿你合家欢乐,福寿安康,春节愉快!...
2023-01-21 09:32:51 104
原创 Yolo实用指南(step by step)之三yolov5训练自己的数据集
关于yolov5训练自己的数据集的文章网上已经有一大把,自己之前也摸索了数据标注有一阵子,可一直迟迟未动手,感觉对原理不熟悉,很多东西浮光掠影有些肤浅,思来想去还是花了整整一天实践一下吧,毕竟这是基础。凡是写东西,必然会借鉴别人的内容和代码,毕竟造轮子不是玩的,当然文章中提到的必然是自己经历和解决过的。每个人经历的问题千奇百怪,自己亲自动手解决或者自己到网上找方案解决或者想办法规避,都是解决问题的...
2023-01-11 01:38:49 2298 2
SQLSERVER2008存储结构二_GAM、SGAM、PFS、IAM、DCM、BCM.doc
2010-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人