- 博客(416)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 简明postgresql安装和配置
因前端代码连接pg的需要，又参考之前的文档重新安装了一遍postgresql，想一次性过还是有点小问题，涉及防火墙、配置文件的修改等等。1、直接通过yum安装postgresql-server和postgresql-contrib。[root@localhostlib]#yuminstallpostgresql-serverLoadedplugins:fastestmirrorDe...
2022-12-16 13:14:32
923
1
原创 Yolo实用指南（step by step）之二labelme进行数据标注
在机器学习和神经网络中，关于猫狗的识别就像各语言的hello world一样，我也不例外，神经网络是一种监督学习方法，预想取之必先与之，所以首先是数据标注，通过labelme进行数据标注，将图片和标签进行关联，再通过神经网络对图片和标签进行训练也就是学习的过程，最后通过测试集进行模型预测也就是验证的过程。题外话，数据标注现在已经成了一门产业，无论是图像识别，还是自然语言处理，还是语音文字互转，猫狗...
2022-11-05 08:15:16
2382
原创 Yolo实用指南（step by step）之一环境搭建
好久没更新公众号了，除了忙还是忙，加上最近忙的事情和工作耦合的比较禁，需要脱敏处理，一拖再拖，人就懒了下来。YOLO是目标检测模型。目标检测是计算机视觉中比较简单的任务，用来在一张图篇中找到某些特定的物体，目标检测不仅要求我们识别这些物体的种类，同时要求我们标出这些物体的位置。之前一直在看书看资料，看神经网络看相关场景也有类似的项目经理，感觉有点储备了，准备动手，不过看书容易动手难，知易行难，原来...
2022-11-03 13:05:28
1568
原创 PostgreSQL计算影响某地的台风
已爬取了十几年来的全国台风数据，现要获取影响某地的台风，想法比较粗糙，就是以某地的中心点为半径和台风路径中心点距离的求解，一般某地区是以点带面的有个地区半径，台风一般取七级台风风圈半径。现在的问题点转换为了，两点之间求距离。Postgresql有两种办法可实现，一种是自定义函数，一种是利用Postgresql扩展包第一种自定义函数的方式，参见代码：createorreplacefunctio...
2022-09-02 09:18:31
235
原创 基于flask和bootstrap-table的通用数据查询
基于flask和bootstrap-table的通用数据查询，大体思路是构建两张字典表，一张表存表信息，一张表存字段信息，字段信息表包含了字段的字段名、字段类型、字段长度、是否主键、是否为空、显示顺序、查询标志等等。代码其实很简单，包括各数据的查询，路由和前端展示。第一步，记录集转字典def getsqlresultdict(db, sql,params={}): ...
2022-07-24 11:41:34
658
原创 获取postgresql数据字典
想实现一个通用的元数据，从postgresql入手，在网文的基础上增加了一些字段信息，字段元数据主要包括表名、字段名、字段顺序、字段类型、字段全类型、字段长度、数值字段长度、数值字段精度、字段备注等等。虽然还可以叠加很多比如索引、外键等等SELECTpc.relname AS tableName, pa.attname AS columnName, pa...
2022-07-21 00:45:32
466
原创 flask蓝图小结
是该考虑将项目分解的时候了，这个时候会用到蓝图。Flask 用 蓝图（blueprints） 的概念来在一个应用中或跨应用制作应用组件和支持通用的模式。蓝图很好地简化了大型应用工作的方式，并提供给 Flask 扩展在应用上注册操作的核心方法。一个 Blueprint 对象与 Flask 应用对象的工作方式很像，但它确实不是一个应用，而是一个描述如何构建或扩展应用的 蓝图 ...
2022-07-12 12:59:09
202
转载 Flask搭建api服务-生成API文档
前面讲到了Flask实现api，但api是给别人用的，就要告诉别人如何发现api，以及api的用途、名称、出参、入参，生成api文档的做法有好多种，本文选了一种最简单的方式。核心就是通过app.view_functions这个字典找到每个API 的endpoint所绑定的方法，然后访问方法的名字和文档即可从路由中搜索api，在这里可以构筑规则def get_api_ma...
2022-06-23 00:00:56
1440
原创 Flask搭建api服务-SQL配置文件
续前文（Flask搭建api服务）把SQL语句以字典的方式存储起来，配置和代码没有分割开来，一直纠结如何处理配置文件中多行配置项的问题，查了半天，其实这个问题不存在的，只要在配置项中跨行部分前面追加一个空格即可。ini是传统的主流配置文件。ini支持的数据类型有限，将所有的值都默认成字符串（字符串最外面不需要添加引号）。ini配置文件必须使用[]（section）进行分组...
2022-06-17 12:05:52
274
原创 mysql使用笔记一
MySQL和postgresql是目前比较火的两大开源数据库，绝大多数国产数据库都衍生于此，MySQL从整个架构上、设计上和语法上讲类似于早期的Sybase，SQLServer也源之于Sybase，从应用上讲SQLServer更友好，功能更丰富，单体数据库性能也是最好的；MySQL还有诸多的限制，不过这里只是试验和笔记，不做赘述。1、第一次登陆MySQL，需要从日志从获取...
2022-06-16 20:05:44
89
原创 centos7安装mysql笔记
需要部署在centos7的虚拟机上部署mysql，凭空报了很多错，天下文章一大抄，互联网的不严谨在这里暴露无遗，当然我也是走了很多弯路，删了又装，装了又删，在此不做详述了，只保留最终结果。按照正常文档安装mysql，会报这个错误。Failedtostartmysqld.service:Unitnotfound按照一般的说法，重新卸载mysql，安装mariad...
2022-06-15 12:05:41
197
原创 Flask搭建api服务
Flask是一个使用 Python 编写的轻量级 Web 应用框架，很适合个人开发，我们在此处做一个接口。为方便调试，本文使用get接口方式。get接口十分简单，不需要上传任何数据，在路径后面添加一个get方法就可以用，返回的是字符串。本文只是Flask开发的接口的初步文档，从最简单的接口开发到稍微复杂一些的接口，后续如有时间，会逐步完善，包括token鉴权、跨域认证、蓝...
2022-06-10 19:55:35
1257
原创 通过python实现从csv文件到PostgreSQL的数据写入
正在规划一个指标库，用到了PostgresSQL，花了一周做完数据初始化，准备导入PostgreSQL，通过向导导入总是报错，通过python沿用之前的方式也有问题，只好参考网上案例进行摸索。圆满实现，可以开始下一步工作。PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基...
2022-06-07 10:45:18
1334
原创 关于redis
Redis是一个key-value 存储系统，是跨平台的非关系型数据库。Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的 API。Redis 通常被称为数据结构服务器，因为值（value）可以是字符串(String)、哈希(Hash)、列表(list...
2022-05-07 00:00:00
319
原创 关于Excel表操作-通过gensim实现模糊匹配
gensim是一个Python的自然语言处理库，能够将文档根据TF-IDF，LDA，LSI等模型转换成向量模式，此外，gensim还实现了word2vec，能够将单词转换为词向量。gensim的一些常见概念：语料Corpus: 一组原始文本的集合，用于无监督地训练文本主题的隐层结构，语料中不需要人工标注的附加信息。在Gensim中，Corpus通常是一个可迭代的对象（比如...
2022-05-02 00:00:00
835
原创 关于Excel表操作-通过Fuzzywuzzy实现模糊匹配
Fuzzywuzzy 是一款可以对字符串模糊匹配的工具， 它使用 Levenshtein Distance 来计算出那些易用包中序列之间的差异。Levenshtein Distance算法，又叫 Edit Distance算法，是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编...
2022-05-01 00:08:00
873
原创 关于Excel表操作-通过Excel类封装进行操作
OpenPyXL 是个读写 Excel 2010 xlsx/xlsm/xltx/xltm 的 Python 库，简单易用，功能广泛，单元格格式/图片/表格/公式/筛选/批注/文件保护等等功能应有尽有，图表功能是其一大亮点。OpenPyXL 几乎可以实现所有的 Excel 功能，而且接口清晰，文档丰富，学习成本相对较低。import openpyxlimport os...
2022-04-30 00:00:00
996
原创 关于Excel表操作-写入数据库操作
Excel表要写入数据库，毕竟通过pandas来操作复杂的数据还是很有难度的，有多少种数据库，就有多少种数据库引擎，要下载多少python数据库包，同样对Excel写入数据库的操作，可以基于excel按行写入，也可以通过pandas处理，但pandas处理效率不高。基于openpyxl写入数据的操作包括，以下几步1、基于表名构造一个绑定变量的SQL2、读取excel表，转...
2022-04-29 00:00:00
1788
原创 关于Excel表操作-合并文件操作
最近有点忙有点烦，天天忙于数据治理，说是数据治理，整天就是忙于整理和下发各种表格，从开始下发到各地区的表格合并进来，再到入库，再到比对，再到分离下发，再到按字段拆分，从xlrd,lxlwr,openpyxl,pandas，再到cx_Oracle，再到fuzzywuzzy，gensim等等，从最初的流水版本进化到封装成类，挺繁琐的，不过也挺好玩的。整个文件的资源目录结构如下...
2022-04-28 00:05:00
165
原创 帮老婆系列-从客服数据中提取工单号、工号等关键字
正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要提取出我们想要的内容就易如反掌了，本文是为了减轻老婆的工作写的一个小小的场景。 正则表达式的大致匹配过程是： 1.依次拿出表达式和文本中的字符比较， 2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。...
2022-04-27 00:08:51
618
原创 帮老婆系列-关于计算Excel表去除指定时间段后的时间差
老婆给了个小小的任务，说是把工单的有效流转时长给计算出来，工单的有效流转时长=工单的开始时间-工单的结束时间-非工作时间段，看起来很简单的一件事情，耗费了我好几个小时，又用了个把小时用python实现了一遍。首先数据是Excel表，自然首先想到的是Excel函数，Excel函数的缺点是日期计算和时间计算是分开的，想了一下还是从网络上找一些现成的公式吧，找了十几个公式，测试...
2022-04-25 20:56:30
1869
原创 关于OpenCV for Python入门-face_recognition实现人脸识别
face_recognition是世界上最简洁的人脸识别库，你可以使用Python和命令行工具提取、识别、操作人脸。face_recognition的人脸识别是基于业内领先的C++开源库 dlib中的深度学习模型，用Labeled Faces in the Wild人脸数据集进行测试，有高达99.38%的准确率。但对小孩和亚洲人脸的识别准确率尚待提升。face_recog...
2022-04-06 18:49:59
2518
4
原创 关于OpenCV for Python入门-dlib实现人脸检测
Dlib 是用编程语言 C ++编写的通用跨平台软件库。它的设计深受来自契约式设计和基于组件的软件工程的思想的影响。因此，首先也是最重要的是一组独立的软件组件。这是一个加速软件许可证下发布的开源软件。Dlib包含用于处理网络，线程，图形用户界面，数据结构，线性代数，机器学习，图像处理，数据挖掘，XML 和文本解析，数值优化，贝叶斯网络以及许多其他任务的软件组件。近年来，许...
2022-04-05 13:05:04
2961
原创 关于OpenCV for Python入门-DNN模块+MobileNet-SSD实现人脸检测
OpenCV DNN模块支持常见得对象检测模型SSD， 以及它的移动版Mobile Net-SSD，特别是后者在端侧边缘设备上可以实时计算，基于Caffe训练好的mobile-net SSD支持20类别对象检测。在Caffe训练好的mobile-net SSD中内置了"background","aeroplane", "bicycle","bird","boat","bo...
2022-04-01 00:08:03
4366
原创 关于OpenCV for Python入门-DNN模块实现人脸检测
OpenCV在OpenCV增加了DNN模块，DNN模块可以加载预先训练好的Caffe/tensorflow等模型数据，基本支持所有主流的深度学习框架训练生成与导出模型数据加载。下面用到的SSD人脸检测器的骨干网络是REsNet-10，当前它提供了两个训练好的模型：基于深度学习框架caffe训练的模型（原始Caffe实现的16位浮点型版本）和基于TensorFlow训练的模...
2022-03-31 00:17:55
4794
3
原创 关于OpenCV for Python入门-自带人脸识别工具测试
前文提到了OpenCV自带的人脸分类器，虽然准确度一般，但是含着泪也要把工作做完，巧了，OpenCV还提供了三种人脸识别算法（Eigenfaces、Fisherfaces、LBPH），这几种算法各有各的特点，识别率也一般。OpenCV有三种人脸识别的算法：Eigenfaces 他是通过PCA来处理的。PCA是计算机视觉中用的较多的数学概念。它的本质是，识别某个训练集上的主...
2022-03-25 01:30:04
3949
原创 关于OpenCV for Python入门-自带人脸检测算法比较
本来学习OpenCV的目的就是为了做人脸识别、车辆识别、人群计数等等，识别人脸首先要进行人脸检测，OpenCV中内置了Haar Cascade人脸分类器，其中包括haarcascade_frontalface_alt、haarcascade_frontalface_alt_tree、haarcascade_frontalface_alt2、haarcascade_fron...
2022-03-24 00:00:00
1610
原创 关于OpenCV for Python入门-图片和摄像头显示
OpenCV和Python结合的学习资料不多，网上的资料更是鱼目混杂，推荐大家OpenCV官方教程中文版 for Python，建议自行下载。其实也算不上原创，多方摘取学习，是opencv学习的开始。OpenCV三个最核心和常用的模块core：核心模块，主要包含了OpenCV中最基本的结构（矩阵，点线和形状等），以及相关的基础运算/操作。imgproc：图像处理模块，包含...
2022-03-23 00:00:00
968
原创 关于flask入门教程-ajax+echarts实现大屏展示
陆陆续续写了一个系列的flask入门教程了，最后以一个半成品大屏做个了结，也算是一段时间的成果吧，毕竟不是专业码农，只是爱好而已，还有很多其他的事情等待探索。大屏用到的技术主要包括标准的H...
2022-03-12 00:00:00
784
原创 关于flask入门教程-ajax+echarts实现关系图
关系图，从字面上可以看出，为关系的图形，既然为关系，那么就需要有点以及关系，用来表示点与点之间的联系。所以我们可以得出：关系图需要两个必要的元素，节点，关系，其中关系需要包含有联系的节点以...
2022-03-11 00:00:33
774
原创 关于flask入门教程-ajax+百度地图实现热力图
热力图是通过密度函数进行可视化用于表示地图中点的密度的热图。它使人们能够独立于缩放因子感知点的密度。前文也讲了关于max、pointsize、blursize这几个值一直也没找到最合适的处...
2022-03-10 00:16:00
1791
原创 关于flask入门教程-ajax+echarts实现地图热力图
热力图是通过密度函数进行可视化用于表示地图中点的密度的热图。它使人们能够独立于缩放因子感知点的密度。以上是传统的热力图定义，现今热力图在网页分析、业务数据分析等其他领域也有较为广泛的应用。...
2022-03-09 00:01:16
518
原创 关于flask入门教程-ajax+echarts实现地图散点图
地图散点，是在地图的基础上，用点的大小、颜色深浅等元素显示相关数据的大小和分布情况，可以让人一眼尽收眼底，做到心中有数。地图散点常被用于资源、人口、经济分布的显示。echarts实现地图散...
2022-03-08 00:00:00
356
原创 关于flask入门教程-ajax+echarts实现地图GDP展示
地图可视化就是将地理数据转换成可视化形态，通过将具有地域特征的数据或者数据分析结果形象地表现在地图上，使得用户可以更加容易理解数据规律和趋势。通俗地讲，地图可视化可以将地理数据更清晰直白地...
2022-03-07 00:06:50
817
原创 关于flask入门教程-ajax+echarts实现热力图
热力图 (Heatmap) 通过色彩变化来显示数据，热力图适合用来交叉检查多变量的数据。显示是否有彼此相似的变量；以及检测彼此之间是否存在任何相关性。也可以展现随着时间的变化指标的发展。热...
2022-03-06 00:00:00
471
原创 关于flask入门教程-ajax+echarts实现矩形树图
矩形树图将层次结构的数据显示为一组嵌套矩形。树的每个分支都有一个矩形，然后用代表子分支的较小矩形平铺。叶子节点的矩形面积与数据占比成比例。通常，叶节点会用不同的颜色来显示数据的关联维度。矩...
2022-03-05 00:39:40
940
原创 关于flask入门教程-ajax+echarts实现河流图
在ECharts系列中，使用series[i]-themeRiver设置主题河流图，主题河流图是一种特殊的流图，它主要用来表示事件或主题等在一段时间内的变化。本例是通过各省从1950-20...
2022-02-26 00:00:00
247
原创 关于flask入门教程-ajax+echarts实现数量未知的折线图
前文学习了ajax、jsonify、数据库返回结果、echarts柱状图等用法，关于折线图原来想象着没有多困难的事情，结果碰了一大堆钉子，终于得到圆满解决，第一个要解决的是数量未知的折线图...
2022-02-25 00:22:29
1233
原创 关于flask入门教程-ajax+echarts简单实现一
ECharts是一款基于JavaScript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。本文通过echarts官网上的一个标准样例开始flask+ajax+e...
2022-02-23 00:00:00
796
原创 关于flask入门教程-记录集转jsonify
Flask 框架里，可以用 jsonify 返回 json 数据，但是为什么不用 Python 自带的 json 模块返回 JSON 数据呢？其实两者是差不多的，jsonify指明了Con...
2022-02-22 00:00:00
856
SQLSERVER2008存储结构二_GAM、SGAM、PFS、IAM、DCM、BCM.doc
2010-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人