python
文章平均质量分 85
努力的悟空
啥都想学的菜鸡
展开
-
FME对调查云平台完成变更调查照片的批量迁移
技术就好似一把刀,坏人用来伤害人,厨师用来做菜,全看人如何使用。爬虫虽然是一门敏感的技术,但是合理使用,在提高了生产力的同时,也保证了数据的准确性,同时因为是走的后端http直接请求接口,节约了平台的开销,对比以前的人海战术,该方法还能减少平台的资源占用,对软件平台方的日常维护也产生了巨大的价值。原创 2023-01-06 22:30:34 · 1315 阅读 · 1 评论 -
Apache2.4+django4.0+python3.8+Windows11后端接口部署指南
参考各种关于apache服务器部署django的博客,发现很多博客都写的很片面,而且很多都有错误,照着配置根本部署不了,经过各种调试后最终被搞定,所以写下该博客,希望能帮助到需要的人。进入下载windows版本的Apache ,这里就会出现第一个坑,apache的编译VS版本必须和python的编译VS版本一致,我们可以在命令行调用python端口我们可以看到一个数字MSC V.1928,这个就是我当前版本python对应的vs版本,带入下面代码表。原创 2022-11-04 15:02:31 · 1149 阅读 · 0 评论 -
FME高性能编程,让你的FME快起来
在处理大批量数据时,往往很多同学会发现,为什么我明明数据量很大,但是我的cpu利用率却非常低,而且内存占用却非常高。这个是很多软件都会出现的通病,不光限于FME。所以在学习高性能处理数据之前,我们还得了解下一些基础的计算机原理。一、计算机编译原理1.内存内存被分为了4个区,代码区,全局区,栈区,堆区。其中代码区就是存放函数体的二进制代码,由操作系统进行管理;全局区存放全局变量和静态变量以及常量;栈区由编译器自动分配释放,存放函数的参数值,局部变量等;原创 2022-10-20 15:04:26 · 1058 阅读 · 1 评论 -
FME实现VCT格式的读写(变更数据库、自然资源确权数据库转VCT格式)
国土资源部在国家标准《地理空间数据交换格式》(GB/T17798-2007)基础上制定了土地利用数据交换格式,土地利用数据仅描述矢量数据,文件的后缀名为VCT,简称为 VCT 文件,通过该文件 来实现各类国土资源空间信息的交换。VCT矢量数据交换格式广泛应用于国土资源部门土地利用现状调查成果汇交、土地利用规划成果汇交和地籍调查数据库成果交换。原创 2022-09-14 23:49:00 · 2767 阅读 · 2 评论 -
如何FME中使用QGIS算法
QGIS作为开源gis软件的主流,拥有大量的C++编写的优质算法,支持九交模型,具有功能齐全、高性能等特点,且所有算法都有对应的Python api,FME作为目前最好用的gisETL工具之一,如果能在FME模板流程中调用QGIS算法,那么FME能解决的事情就会更多了。一、QGIS和arcpyfme也能调用arcpy的算法,但是为什么我没有选择arcpy路线主要有这几大原因:1、arcgis闭源,算法封装的较为上层,只支持调用,不支持修改。...原创 2022-08-31 13:47:30 · 1318 阅读 · 1 评论 -
基于FME开发的几何数据拓扑错误自动化处理软件
目前大部分质检软件都会对几何图形进行校验,比如图形的自相交、多边形自触、尖锐角、伪节点、悬挂线、重复节点、重叠面、缝隙面等。虽然现在有不少软件能实现处理,但是处理后的效果会因为各种各样的数据而不尽人意,大部分的质检错误都是人工手动修改。基于以上痛点,开发了该自动化处理模块。............原创 2022-07-29 16:00:20 · 2619 阅读 · 6 评论 -
遥感影像分类工具和webgis的可视化应用
随着上个博客更新的web版fme数据处理平台的上线,我将深度学习模型和fme以及webgis结合,搭建出了一个轻量级遥感影像数据自动分类平台。核心功能非常简单,客户完成遥感影像上传,并选择参数,然后可以获得一个shp,以及在平台做了提取图斑的可视化。在两个月前我更新了一篇关于deeplabv3+语义分割模型和fme遥感影像自动提取地物的博客。当时的工具有几点不足。1、性能不足,采用了大量栅格数据的写入写出,耗费了性能。2、没有任何优化算法,分割出来的图斑都是不规则也不平滑的。不采用优化算法则会使得成果无法使原创 2022-07-13 21:56:46 · 1732 阅读 · 2 评论 -
如何利用FME 创建自己的功能软件
目录前言一、概述二、开发思路1.前端开发(1)登录页面(1)功能页面(1)下载页面 2.后端开发二、发布上线总结经过几个月修炼,之前更新的一篇利用django和fme实现模板继承的研究现在终于开花结果,今天悟空就来分享一下利用fme作为后台计算模型搭建数据分析web应用,创建自己的功能软件,让用户彻底脱离fme环境。1、编程语言:JavaScript,python2、开发框架:前端VUE3 ,后端django3、数据库:数据表PostgreSql,进程管理数据库redis4、开发工具:webstorm,py原创 2022-06-22 22:47:45 · 1657 阅读 · 4 评论 -
如何在fme中用pythoncaller开启线程\进程池,多线程异步操作要素
目录前言一、什么是线程和进程二、使用步骤1.引入库2.写函数和传统HTTPCALLER对比前言在fme的数据流中,fme只能进行单进程7线程的计算,并不能有效的利用cpu的资源,在进行大批量数据计算的时候,原始的fme的单进程7线程就不能那么好的满足我们的需求了。一、什么是线程和进程可以简单粗暴的这么理解,一个进程可以控制多个线程,一个进程只能利用一个cpu核心。二、使用步骤1.引入库导入线程池和进程池模块from concurren...原创 2022-02-16 14:58:19 · 499 阅读 · 0 评论 -
用fme提取图斑特征值用knn邻近算法构造训练模型,实现按照图斑形状相似度分类
作者:努力的悟空目录前言一、图形形状相似度分类案例二、需要环境和步骤1.用fme进行数据特征值提取2.读入数据3.数据分割4.特征工程预处理5.实例化估计器,和交叉网格验证6.模型训练7.模型评估8.输入值测试模型效果总结前言 随着人工智能的不断发展,机器学习这门技术也越来越重要,机器学习的基本原理都是通过提取需要训练对象的一系列的特征值,然后提前设定好分类目标值,通过投喂大量的数据来完成模型的建立。之后就只需要通过该模型的计算得出数据的预测值..原创 2021-11-03 09:20:35 · 950 阅读 · 0 评论 -
用fme和Python-selenium模块实现网站表格批量自动化录入和文件上传
前言:现在很多系统平台,都有大量的填报录表、上传扫描件附件等的工作内容,尤其是涉及很多数据已有的数据信息(例如只有一份录入好的电子表格)然后我们花费大量的人力物力,去做复制粘贴的工具,将一个电子表格的内容一项一项的复制粘贴到平台。所以悟空分享一个用web自动化脚本工具,selenium来替代人类,帮我们完成这些重复繁琐的工作。...原创 2021-10-31 17:28:18 · 2729 阅读 · 0 评论 -
fme结合python-pandas实现图形数据和表格数据的模糊匹配挂接
1、需求分析1.shp为原始数据,包含了图形信息和属性信息,可以看到姓名作为挂接项,包含的干扰项目很多,让我们根本没有办法用正则表达式过滤出来2.xlsx为表格数据,里面包含了我们需要挂接的属性,我们需要将表格的属性通过姓名模糊匹配挂接到shp中。2、需要工具完成这个需求,我们需要有fme,以及安装到fme里面的python3.7 pandas包。不会安装的小伙伴可以看我第一期的博客内容,里面有fme安装pandas详细介绍。3、实现过程1、核心转换器为python...原创 2021-09-27 15:00:57 · 1478 阅读 · 1 评论