- 博客(409)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 关于2021年个人公众号总结
兜兜转转，又过了一年，2022年来了，自己又老了一岁，娃也长大了一岁，无聊的年底迎来了一波又一波的数字化考核，假的让人瞠目结舌。人生啊，处于上有老下有小的境地，工作呢，在甲乙丙丁戊各方中周...
2022-01-04 15:20:44
1232
1
原创 关于2020年个人公众号总结
年关将近，又到了一年一度的总结时候，本来写的好好的总结材料，结果没保存好，只好提笔重写写到哪里算哪里了。2020年是特别的，一场突如其来的新冠疫情从武汉爆发迅速席卷到全国，然后全世界也沦陷了，几乎影响和改变了每个人的生活，时至今日还在我们的生活中时不时的制造一些麻烦。疫情深刻地改变了全球政治、经济和人们的生活。对中国来说,中国方案和中国抗疫行动为世界在灾难面前保持了一份稳定的信心。也正因为中国方案和行动卓有成效,才迎来中国经济的稳步复苏和国内生活秩序的迅速恢复。这一成绩点亮了世界,也点亮了人们的内心。也
2020-12-30 00:35:32
900
1
原创 关于我的公众号和公众号文章索引，请大家关注，谢谢
2019年公众号文章索引。有兴趣，大家可以关注，谢谢。目前差不多将近90篇了，有质量高的有质量低的，有懈怠的时候也有如期交付的时候，不管怎么样，算是坚持下来了，希望明年会更好。总的来说，搞技术要沉下来，不求尽如人意，但求问心无悔。链接太难搞了，偷偷懒，只贴标题和分类了。文章 类型 关于大数据运维能力的一些思考 IT业界 去IOEorNot? I...
2020-02-04 15:25:14
890
原创 基于Yolov8网络进行目标检测（三）-训练自己的数据集
前一篇文章详细了讲解了如何构造自己的数据集，以及如何修改模型配置文件和数据集配置文件，本篇主要是如何训练自己的数据集，并且如何验证。VOC2012数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/coco全量数据集下载地址：http://images.cocodtaset.org/annotations/annotations_train...
2023-09-16 00:00:19
49
原创 基于Yolov8网络进行目标检测（二）-安装和自定义数据集
关于Yolov8的安装在前一个环节忽略了，其实非常简单，只需要以下两个步骤：1、安装pytorchpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1182、安装ultralyticspip install ultralytics为什么把目录结构单独拿出来扯呢？这个和训...
2023-09-15 00:00:57
61
原创 基于Yolov8网络进行目标检测（一）-介绍和预测
之前提到过目标检测模型分为两类。一类是two-stage，将物体识别和物体定位分为两个步骤分别完成，这一类的典型代表是R-CNN, fast R-CNN, faster-RCNN家族。他们识别错误率低，漏识别率也较低，但是由于网络结构参数的计算量大，导致其检测速度慢，不能满足实时检测场景。为了解决精度与速度并存的问题，另一类方式出现了，称为one-stage, 典型代表是Yolo, SSD, Yo...
2023-09-13 01:25:40
81
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（二）——预训练模型和预测
CoCo的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，包括检测、分割、关键点估计等任务，目前用的比较多的是Coco2017数据集。Coco2017数据集是一个包含有大量图像和标注数据的开放数据集，它是微软公司在COCO项目基础上发展而来。这个数据集主要包含了种场景下的图片，包括人物、动物、物品等各种目标。同时，它还包含了很多不同的属性...
2023-09-08 00:00:53
37
原创 基于Pytorch构建Faster-RCNN网络进行目标检测的一段插曲-安装GPU环境
因工作原因，原来的台式机工作站发生了变更，除了GPU显卡（NVIDIA GeForce GTX 1660显卡变成了NVIDIA Quadro P2200显卡）以外，其他配置都差不多，从网上查阅NVIDIA Quadro P2200相当于NVIDIA GeForce GTX 1660显卡。NVIDIA Quadro P2200是一款NVIDIA品牌的显卡，制作工艺为28纳米。NVIDIAQuadro...
2023-09-05 16:53:22
33
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（一）
尽管R-CNN是物体检测的鼻祖，但其实最成熟投入使用的是faster-RCNN，而且在pytorch的torchvision内置了faster-RCNN模型，当然还内置了mask-RCNN，ssd等。既然已经内置了模型，而且考虑到代码的复杂度，我们也无需再重复制造轮子，但对模型本身还是需要了解一下其原理和过程。FasterRCNN 的整体框架按照功能区分，大致分为4个模块，分别是特征提取网络ba...
2023-09-04 12:30:18
72
原创 关于目标检测鼻祖R-CNN论文
R-CNN系列论文是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是沿袭R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归Rich feature hierarchies for accurat...
2023-08-23 00:00:42
30
原创 关于图像分类、图像识别和目标检测异同
计算机视觉是人工智能领域的一个重要分支，它旨在构建能够理解和处理图像、视频等视觉信息的计算机系统。在计算机视觉领域中，图像分类、图像识别和目标检测是三个重要的任务，当然目标跟踪、图像生成也是新的方向和延伸。其实下面这幅图已经非常准确地说明图像分类、图像识别和目标检测的区别和共同点。 一、图像分类 图像分类的目的是将一张图像分到某个预定义的类别中。一般意义上的图像分类是指单标签分类，和...
2023-08-22 00:00:21
143
原创 基于Pytorch构建DenseNet网络对cifar-10进行分类
DenseNet是指Densely connected convolutional networks（密集卷积网络）。它的优点主要包括有效缓解梯度消失、特征传递更加有效、计算量更小、参数量更小、性能比ResNet更好。它的缺点主要是较大的内存占用。DenseNet网络与Resnet、GoogleNet类似，都是为了解决深层网络梯度消失问题的网络。Resnet从深度方向出发，通过建立前面层与后面层之...
2023-08-21 00:00:13
89
原创 基于Pytorch构建ResNet网络对cifar-10进行分类
何凯明等人在2015年提出的ResNet，在ImageNet比赛classification任务上获得第一名，获评CVPR2016最佳论文。自从深度神经网络在ImageNet大放异彩之后，后来问世的深度神经网络就朝着网络层数越来越深的方向发展，从LeNet、AlexNet、VGG-Net、GoogLeNet。直觉上我们不难得出结论：增加网络深度后，网络可以进行更加复杂的特征提取，因此更深的模型可以...
2023-08-20 12:34:29
22
原创 基于Pytorch构建GoogLeNet网络对cifar-10进行分类
GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。incept...
2023-08-19 01:42:53
37
原创 基于Pytorch构建VGG-16Net网络对cifar-10进行分类
VGGNet发布于 2014 年，作者是 Karen Simonyan 和 Andrew Zisserman，该网络表明堆叠多个层是提升计算机视觉性能的关键因素。VGGNet 包含 11层或13层或16层 或 19 层，主要由小型的 3×3 卷积操作和 2×2 池化操作组成。基本组成部分是：1. 带填充以保持分辨率的卷积层；2. 非线性激活函 数，如ReLU；3. 汇聚层，如最大池化层。VGG 的...
2023-08-17 08:40:40
40
原创 基于Pytorch构建AlexNet网络对cifar-10进行分类
AlexNet网络是CV领域最经典的网络结构之一了，在2012年横空出世，并在当年夺下了不少比赛的冠军。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。AlexNet和LeNet的设计非常类似，但AlexNet的结构比LeNet规模更大。AlexNet的结构比LeNet规模更大，AlexNet包含8层变换，其中包含5层卷积和2层全连接隐藏层，以及最后的一个全连接的...
2023-08-16 00:58:27
47
原创 基于Pytorch构建LeNet网络对cifar-10进行分类
LeNet5诞生于1994年，是最早的卷积神经网络之一，是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构，是一种用于手写体字符识别非常高效的网络。一般LeNet即指代LeNet5。LeNet5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层，是其他深度学习模型的基础。LeNet5由七层组成（不包括输入层），每一层都包含可训练权重。通过卷积、池化等操作进行...
2023-08-15 10:10:34
38
原创 PyQT模块、类、控件介绍
最近在搞一些基于PyQT的开发，开发过程中一直对PyQT相关模块、类、控件比较模糊，于是花了一些力气，去收集和整理了一下PyQT的一些基础，希望对大家有帮助！PyQT模块QtCore模块涵盖了包的核心的非GUI功能，此模块被用于处理程序中涉及的时间、文件、目录、数据类型、文本流、链接、QMimeData、线程或进程等对象。QtGui模块涵盖了多种基本图形功能的类，包括但不限于：窗口集、事件处理、2...
2023-08-02 10:10:44
81
原创 基于PyQt5开发图像标注版本5终版-多标注框+标注标签+高亮和删除标签+打开图片文件+保存标注格式...
随着功能越来越多，代码也越来越多，为了让这个标注原型工具有始有终，给他加了两个按钮，打开图片文件，保存标注文件，代码也到了解耦的时候了，这次一共涉及到三个python文件，其实还可以将UI和逻辑做进一步解耦，另外最后也懒了，关于保存标注文件的代码并未真正完成，一来最近事情多了起来，一来不值得为一个原型投入太多精力，后面完整版的也不会发出来。所以这个图像标注原型版本也接近了尾声。ui_labelCh...
2023-07-27 10:30:08
144
12
原创 基于PyQt5开发图像标注版本4-多标注框+标注标签+高亮和删除标签
4.0版本在3.0版本基础上增加了双击某个位置时，如果这个位置在标注框内，则对选中的标注框进行标识出来，同时提示是否要删除当前选中的标注框，进行删除处理。在这个版本中首先需要增加双击事件，在双击事件中对当前鼠标位置是否属于某个标注框进行遍历，某个位置可能属于多标注框时，则按照先入后出的原则，进行删除。在绘制事件中主要是对当前位置所在的标注框进行区分显示。其他代码基本未变。一、修改MyLabel代码...
2023-07-26 10:00:42
62
原创 基于PyQt5开发图像标注版本3-多标注框+标注标签
这个图像标注版本在前面多标注框基础上，增加了标注标签的选择，同时修正了一下之前绘制最后一个标注框的显示问题，现在看起来更像一个标注软件了。参照labelImg的样式定义了一个自定义Dialog窗口，在这个窗口中加载了标注标签列表文件，同时这个标签是要必须选择的，或者取消。对多标注框的代码重新做了优化，一个是关于正在绘制的标注框的显示问题，如果标签取消，则不予绘制，如果选择了标签才绘制出来一、通过q...
2023-07-25 00:00:32
74
原创 基于PyQt5开发图像标注版本2-多标注框
在网上能看到的图像标注版本多是图像标注版本1的代码，但图像标注不仅只保存一个标注框，通常都是多个标注框，而且要把这些标注框信息记录下来，当然代码也是在网上找到的，做了一些改动。多标注的秘诀就在于增加一个bboxList列表，记录每次释放鼠标时的起始结束位置以及其他信息，在绘制事件中，将过往的bboxList存储的点位信息重新绘制出来。一、在MyLabel初始化过程中，增加一个self.bboxLi...
2023-07-24 08:00:13
48
1
原创 基于PyQt5开发图像标注版本1-基本标注框
关于图像标注软件，业界已经有LabelImg、Labelme、VATIC、Label Studio、Prodigy、Datasaur等开源或商业的工具。由于某种需要，本人需要开发一款数据标注工具，也尝试过阅读Labelme和LabelImg代码，但无奈水平有限放弃了，最后决定借鉴其标注界面和思想。此外图像标注，之前试过simpleGUI，但交互性有点弱，决定用pyqt5重构一下，图像标注主要包括图...
2023-07-23 09:12:44
104
原创 使用supervisor+uvicorn部署FastAPI应用
之前通过gensim和chatyuan部署了两个机器人，其中gensim用于提供检索机器人，chatyuan用于提供生成式机器人，为了提供web接口服务，又部署了FastAPI,FastAPI 是一个高性能 Web 框架，用于构建 API应用，FastAPI内置了一个uvicorn服务，uvicorn 是一个闪电般快速的 ASGI 服务器，基于 uvloop 和 httptools 构建。但部署在...
2023-05-04 18:30:14
614
1
原创 通过docxtpl 自动生成数据库设计文档
docxtpl这是一个比较冷门的 Python 库，而且库中的函数也不多，才几个，但功能却很专一。如果说 docx 库的强大在于生成我们想要的 Word 文档，那么 Docxtpl 库的存在就是将这些文档按固定格式输出。今天在编写数据库结构文档，想到如此重复的工作，自然有系统办法实现，就找到了这个库。docxtpl是基于python-docx和jinja2开发出来的库。他通过对docx文档模版加载...
2023-03-07 16:26:59
183
原创 通过seaborn对全球204个国家和地区进行定量分析
数据集为全球204个国家和地区的经济、外贸、寿命、疫情数据，主要以2021年数据为基准，部分缺失国家采用了2020年的数据。本文通过seaborn对世界数据进行定量和定性分析。国际组织评定一个国家是否属于发达国家所考虑的指标除了该国的GDP规模之外，还会考虑其人均GDP/GNI、工业化水平、国民生活水平和它拥有的技术基础设施数量。除此之外，不过国际组织还会根据自身针对的领域特点，加入其他的考核因素...
2023-03-05 08:05:04
190
原创 通过Python爬取和解析海口历史天气
通过Python做数据分析，首先需要数据源，数据源有多种获取方式，一种来自数据库，一种来自表格，一种是自力更生到互联网上爬取数据。当然小批量数据可以直接拷贝下来即可，定期更新的或大批量或者有规律的数据建议还是通过爬虫获取。Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。通过...
2023-02-28 00:11:12
75
转载 关于PostgreSQL解锁笔记
第一次在PostgreSQL中解锁，做下记录，仅此而已锁表通常发生在 DML（ insert 、update 、delete ）语句中，例如：程序 A 对 A 表的 a 数据 进行修改，修改过程中产生错误，没有 commit 也没有 rollback ，这个时候程序 B 对 A 表的 a 数据进行修改，会产生资源正忙的异常，也就是锁表。下面是解锁过程select oid from pg_class...
2023-02-21 10:39:29
258
转载 解决No module named pip问题
做下笔记，总是碰到no module named pip错误，安装不能按照，更新不能更新，每次都得搜索一下，这次记一下，希望后续好找一些python -m pip install --upgrade pip输入运行后如果出现错误“no module named pip”，则运行以下指令：python -m ensurepipeasy_install pippython -m pip install...
2023-02-17 00:25:06
210
原创 记录一下PostgreSQL的备份和还原
工作原因，记录一下PostgreSQL的备份和还原，无他pg_dump是用于备份一种PostgreSQL数据库的工具。即使数据库正在被并发使用，它也能创建一致的备份。pg_dump不阻塞其他用户访问数据库（读取或写入）。pg_dump只转储单个数据库。要备份一个集簇中 对于所有数据库公共的全局对象（例如角色和表空间），应使用 pg_dumpall。转储可以被输出到脚本或归档文件格式。脚本转储是包含...
2023-02-08 12:34:18
245
原创 Yolo实用指南（step by step）之四yolov5预测数据
多劫多难的预测数据路程，看起来距离胜利已经伸手可及，但确折腾了整整好几天。1、第一次经历，参考Yolo实用指南（step by step）之三yolov5训练自己的数据集在训练数据和验证数据都已经OK了，但在预测数据的时候，一直没有预测框出来，经过核查发现pred tensor都是nan。网上各种方案都有，有的说是pytorch版本不对，有的说是yolov5和权重版本不对，有的要改代码，反正折腾了...
2023-01-30 16:36:21
352
转载 2023年除夕守岁
鞭炮声声辞旧岁，红灯高高照吉祥，春联红红写如意，水饺香香包幸福，酒杯满满碰快乐，短信条条送祝福，春节到，愿你合家欢乐，福寿安康，春节愉快!...
2023-01-21 09:32:51
56
原创 Yolo实用指南（step by step）之三yolov5训练自己的数据集
关于yolov5训练自己的数据集的文章网上已经有一大把，自己之前也摸索了数据标注有一阵子，可一直迟迟未动手，感觉对原理不熟悉，很多东西浮光掠影有些肤浅，思来想去还是花了整整一天实践一下吧，毕竟这是基础。凡是写东西，必然会借鉴别人的内容和代码，毕竟造轮子不是玩的，当然文章中提到的必然是自己经历和解决过的。每个人经历的问题千奇百怪，自己亲自动手解决或者自己到网上找方案解决或者想办法规避，都是解决问题的...
2023-01-11 01:38:49
1690
2
原创 简明postgresql安装和配置
因前端代码连接pg的需要，又参考之前的文档重新安装了一遍postgresql，想一次性过还是有点小问题，涉及防火墙、配置文件的修改等等。1、直接通过yum安装postgresql-server和postgresql-contrib。[root@localhostlib]#yuminstallpostgresql-serverLoadedplugins:fastestmirrorDe...
2022-12-16 13:14:32
686
1
原创 Yolo实用指南（step by step）之二labelme进行数据标注
在机器学习和神经网络中，关于猫狗的识别就像各语言的hello world一样，我也不例外，神经网络是一种监督学习方法，预想取之必先与之，所以首先是数据标注，通过labelme进行数据标注，将图片和标签进行关联，再通过神经网络对图片和标签进行训练也就是学习的过程，最后通过测试集进行模型预测也就是验证的过程。题外话，数据标注现在已经成了一门产业，无论是图像识别，还是自然语言处理，还是语音文字互转，猫狗...
2022-11-05 08:15:16
1490
原创 Yolo实用指南（step by step）之一环境搭建
好久没更新公众号了，除了忙还是忙，加上最近忙的事情和工作耦合的比较禁，需要脱敏处理，一拖再拖，人就懒了下来。YOLO是目标检测模型。目标检测是计算机视觉中比较简单的任务，用来在一张图篇中找到某些特定的物体，目标检测不仅要求我们识别这些物体的种类，同时要求我们标出这些物体的位置。之前一直在看书看资料，看神经网络看相关场景也有类似的项目经理，感觉有点储备了，准备动手，不过看书容易动手难，知易行难，原来...
2022-11-03 13:05:28
1168
原创 PostgreSQL计算影响某地的台风
已爬取了十几年来的全国台风数据，现要获取影响某地的台风，想法比较粗糙，就是以某地的中心点为半径和台风路径中心点距离的求解，一般某地区是以点带面的有个地区半径，台风一般取七级台风风圈半径。现在的问题点转换为了，两点之间求距离。Postgresql有两种办法可实现，一种是自定义函数，一种是利用Postgresql扩展包第一种自定义函数的方式，参见代码：createorreplacefunctio...
2022-09-02 09:18:31
179
原创 基于flask和bootstrap-table的通用数据查询
基于flask和bootstrap-table的通用数据查询，大体思路是构建两张字典表，一张表存表信息，一张表存字段信息，字段信息表包含了字段的字段名、字段类型、字段长度、是否主键、是否为空、显示顺序、查询标志等等。代码其实很简单，包括各数据的查询，路由和前端展示。第一步，记录集转字典def getsqlresultdict(db, sql,params={}): ...
2022-07-24 11:41:34
502
原创 获取postgresql数据字典
想实现一个通用的元数据，从postgresql入手，在网文的基础上增加了一些字段信息，字段元数据主要包括表名、字段名、字段顺序、字段类型、字段全类型、字段长度、数值字段长度、数值字段精度、字段备注等等。虽然还可以叠加很多比如索引、外键等等SELECTpc.relname AS tableName, pa.attname AS columnName, pa...
2022-07-21 00:45:32
345
原创 flask蓝图小结
是该考虑将项目分解的时候了，这个时候会用到蓝图。Flask 用 蓝图（blueprints） 的概念来在一个应用中或跨应用制作应用组件和支持通用的模式。蓝图很好地简化了大型应用工作的方式，并提供给 Flask 扩展在应用上注册操作的核心方法。一个 Blueprint 对象与 Flask 应用对象的工作方式很像，但它确实不是一个应用，而是一个描述如何构建或扩展应用的 蓝图 ...
2022-07-12 12:59:09
145
SQLSERVER2008存储结构二_GAM、SGAM、PFS、IAM、DCM、BCM.doc
2010-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人