fme
文章平均质量分 81
努力的悟空
啥都想学的菜鸡
展开
-
FME对调查云平台完成变更调查照片的批量迁移
技术就好似一把刀,坏人用来伤害人,厨师用来做菜,全看人如何使用。爬虫虽然是一门敏感的技术,但是合理使用,在提高了生产力的同时,也保证了数据的准确性,同时因为是走的后端http直接请求接口,节约了平台的开销,对比以前的人海战术,该方法还能减少平台的资源占用,对软件平台方的日常维护也产生了巨大的价值。原创 2023-01-06 22:30:34 · 1385 阅读 · 1 评论 -
FME高性能编程,让你的FME快起来
在处理大批量数据时,往往很多同学会发现,为什么我明明数据量很大,但是我的cpu利用率却非常低,而且内存占用却非常高。这个是很多软件都会出现的通病,不光限于FME。所以在学习高性能处理数据之前,我们还得了解下一些基础的计算机原理。一、计算机编译原理1.内存内存被分为了4个区,代码区,全局区,栈区,堆区。其中代码区就是存放函数体的二进制代码,由操作系统进行管理;全局区存放全局变量和静态变量以及常量;栈区由编译器自动分配释放,存放函数的参数值,局部变量等;原创 2022-10-20 15:04:26 · 1090 阅读 · 1 评论 -
FME实现VCT格式的读写(变更数据库、自然资源确权数据库转VCT格式)
国土资源部在国家标准《地理空间数据交换格式》(GB/T17798-2007)基础上制定了土地利用数据交换格式,土地利用数据仅描述矢量数据,文件的后缀名为VCT,简称为 VCT 文件,通过该文件 来实现各类国土资源空间信息的交换。VCT矢量数据交换格式广泛应用于国土资源部门土地利用现状调查成果汇交、土地利用规划成果汇交和地籍调查数据库成果交换。原创 2022-09-14 23:49:00 · 2911 阅读 · 3 评论 -
如何FME中使用QGIS算法
QGIS作为开源gis软件的主流,拥有大量的C++编写的优质算法,支持九交模型,具有功能齐全、高性能等特点,且所有算法都有对应的Python api,FME作为目前最好用的gisETL工具之一,如果能在FME模板流程中调用QGIS算法,那么FME能解决的事情就会更多了。一、QGIS和arcpyfme也能调用arcpy的算法,但是为什么我没有选择arcpy路线主要有这几大原因:1、arcgis闭源,算法封装的较为上层,只支持调用,不支持修改。...原创 2022-08-31 13:47:30 · 1346 阅读 · 1 评论 -
FME技巧分享之动态读取excel文件
1、无法将以某行设置为字段行作为动态参数,比如当我们遇到各类型复杂表格时,比如这种。虽然FME可以设置从某行开始读取,但该设置并不能设置为参数。2、如果某行内容的字符编码发生变化,则读取会报错,如下图所示,某行字符编码变为UTF-16LE,之前字符编码为UTF-8,出现不一致,则FME无法读取,唯一的解决办法是读取前提前修改字符编码,但是FME并没有读取前修改的功能。原创 2022-08-25 08:51:43 · 1496 阅读 · 1 评论 -
基于FME开发的几何数据拓扑错误自动化处理软件
目前大部分质检软件都会对几何图形进行校验,比如图形的自相交、多边形自触、尖锐角、伪节点、悬挂线、重复节点、重叠面、缝隙面等。虽然现在有不少软件能实现处理,但是处理后的效果会因为各种各样的数据而不尽人意,大部分的质检错误都是人工手动修改。基于以上痛点,开发了该自动化处理模块。............原创 2022-07-29 16:00:20 · 2798 阅读 · 7 评论 -
遥感影像分类工具和webgis的可视化应用
随着上个博客更新的web版fme数据处理平台的上线,我将深度学习模型和fme以及webgis结合,搭建出了一个轻量级遥感影像数据自动分类平台。核心功能非常简单,客户完成遥感影像上传,并选择参数,然后可以获得一个shp,以及在平台做了提取图斑的可视化。在两个月前我更新了一篇关于deeplabv3+语义分割模型和fme遥感影像自动提取地物的博客。当时的工具有几点不足。1、性能不足,采用了大量栅格数据的写入写出,耗费了性能。2、没有任何优化算法,分割出来的图斑都是不规则也不平滑的。不采用优化算法则会使得成果无法使原创 2022-07-13 21:56:46 · 1831 阅读 · 2 评论 -
如何利用FME 创建自己的功能软件
目录前言一、概述二、开发思路1.前端开发(1)登录页面(1)功能页面(1)下载页面 2.后端开发二、发布上线总结经过几个月修炼,之前更新的一篇利用django和fme实现模板继承的研究现在终于开花结果,今天悟空就来分享一下利用fme作为后台计算模型搭建数据分析web应用,创建自己的功能软件,让用户彻底脱离fme环境。1、编程语言:JavaScript,python2、开发框架:前端VUE3 ,后端django3、数据库:数据表PostgreSql,进程管理数据库redis4、开发工具:webstorm,py原创 2022-06-22 22:47:45 · 1692 阅读 · 4 评论 -
如何在FME 中离线配置Python 环境库
单纯python环境离线库安装很简单,只需要pip install 加上我们whl文件并执行就可以了。但是如果是在FME环境中,我们最常用的安装方式就是fme.exe python -m pip install xxx扩展包名称--target "C:\Program Files\FME\python",这里target后面的路径是FME的python包存放路径,根据FME的环境变量有关系,如果是默认安装的话则就是"C:\Program Files\FME\python"路径原创 2022-05-10 16:26:41 · 1128 阅读 · 2 评论 -
利用FME实现三调图斑地类自动提取与遥感影像自动分析监测
前言我是一名giser也是一名开发者,刚入行时,第一件事情就是做三调图斑的矢量化,当时费劲心思一天也才只能画2平方公里左右的矢量数据,随着不断的学习和接触了各种各样的新技术,如果能把这些过程实现自动化,哪怕不能完美,都不知道能节约多少人力物力。带着这个想法,我一路研究,最终是通过fme结合深度学习模块,将整套完整流程集成到了模板内部。在介绍这套方案之前,我首先得感谢我的和尚哥,他作为FME资深大佬,在整套流程的搭建中,指导我攻破了许多难题。一、环境搭建1、FMEFME作为主角,在整套..原创 2022-04-01 20:47:55 · 5798 阅读 · 5 评论 -
fme扫描件处理终章,深度学习和fme的极致结合,自动分户,分类,并提取宗地代码作为户档案文件名
目录前言一、需求二、实际操作1.图像分类2.图像分户3.成果输出总结前言本文将主要体现再深度学习的计算模型搭建好只有如何使用fme来将其功能发挥到极致,图像分类模型如何搭建和使用我上一篇文章有详细的介绍和说明。一、需求需求其实非常简单,农村房地一体项目档案资料,按目录顺序整理好之后直接上高速扫描仪将一个村的档案直接放到一个文件夹,我们需要利用fme调用深度学习模型来实现资料按户归档。可以看到按村扫描好的扫描件是直接这样非常暴力的放置的,按以前的逻辑,.原创 2021-12-01 14:11:39 · 2478 阅读 · 2 评论 -
用纯fme批量生成界址点成果表(模板格式全部自拟)
前言:今日悟空分享一期fme干货教程,用fme来从地籍图上面提取宗地、界址等各种信息并批量导出为界址点成果表,其中涉及了cass数据的基础转换分析、Excel表格的高阶处理等核心技术、以及fme的几个底层逻辑。还希望各位小伙伴能不惜自己的关注和点赞。一、需求分析首先我们需要从cass图中提取宗地线,然后获取界址信息、边长信息 、宗地面积、自然幢面积等信息。然后拟定一个界址成果表的模板,将信息通过模板导出为界址点成果表。当然这些在南方cass中有自带的界址点成果表生成工具,但是一旦涉及到界址点成果表模原创 2021-10-10 23:35:44 · 5141 阅读 · 4 评论 -
fme结合python-pandas实现图形数据和表格数据的模糊匹配挂接
1、需求分析1.shp为原始数据,包含了图形信息和属性信息,可以看到姓名作为挂接项,包含的干扰项目很多,让我们根本没有办法用正则表达式过滤出来2.xlsx为表格数据,里面包含了我们需要挂接的属性,我们需要将表格的属性通过姓名模糊匹配挂接到shp中。2、需要工具完成这个需求,我们需要有fme,以及安装到fme里面的python3.7 pandas包。不会安装的小伙伴可以看我第一期的博客内容,里面有fme安装pandas详细介绍。3、实现过程1、核心转换器为python...原创 2021-09-27 15:00:57 · 1536 阅读 · 1 评论