努力的悟空-CSDN博客

原创利用NewGIS平台将FME模板发布为接口

在实际的应用生产过程中，尤其是移动端GIS软件的开发，针对一些闭源的格式，比如dwg、esri-mdb、esri-gdb等等，这种非开源格式不像shp、dxf、kml这种明码格式可以通过手搓数据格式转换来实现解析，FME是一个很好的转换工具，但是没办法安装在移动端。我们团队开发的NewGIS平台能够实现自动解析FME写好的模板，并将模板发布为接口或者工具。

2024-05-28 15:36:31 409

将FME安装包拷贝到linux的某个文件夹中，输入命令，第一个命令是安装软件包，第二个是安装绑定文件。先下载tar -xzvf go1.20.linux-amd64.tar.gz文件，然后解压文件。将fme-flexnet-linux-x64.tar_3.gz文件拷贝到某路径并解压。然后将该文件放入/etc/systemd/system路径。然后新建一个文本文件配置，注意修改文件路径。输入命令 su root设置密码。输入命令编辑环境变量配置文件。使用postgres账号。输入完成动态链接库配置。

2024-05-10 10:41:58 361

原创 Go语言的映射reflect使用大全

Go语言作为一个高性能的静态语言，我们在写函数的时候，由于go语言的特性，我们需要定义变量类型，大多情况下，变量类型是固定结构体，这就会导致我们想做一个适配性较高的函数的时候，则需要将变量以及返回值用interface{}接口实现在Go语言中，`reflect`包被用来在运行时动态地操作对象。尽管这个包非常强大，但是它通常不建议用于日常编程，因为它会使代码更难理解和维护，同时也会减慢程序运行速度。但是当你需要编写通用代码或者框架，或者需要处理未知类型的数据时，`reflect` 包就显得非常有用。

2024-01-19 10:52:46 601

原创如何使用FME开发自动化分析报告功能

该方案不单单能应用于城镇国土空间监测项目，能定制开发所有项目的分析报告，包括规划的合规分析，可行性分析，调查监测的变更调查数据库分析报告等等，并且能避免各种冗余的。

2023-10-12 17:30:36 1506 1

原创基于FME二开产品:NewGIS integration介绍

爆肝两个月，我和我的团队终于打造出了一款能完美适配所有FME模板的在线模板管理平台，目前支持FME2021版本的所有模板的在线运行、管理。整体技术框架前端Vue ，后端Go语言实现。基于fmedesktop2021.2版本开发，目前只是一个雏形，后期会增加在线网络接口配置，将模板配置为web后端接口，并增加权限管理功能，统计分析功能等。欢迎精通FME，又精通go语言的小伙伴加入我们的团队完成该产品的开发。

2023-07-19 18:37:42 1638 2

原创 golang实现webgis后端开发

在pg数据库中，几何信息都是通过wkb格式进行存储，所以我们需要将wkb解析为golang中我们可以操作的几何对象，那么在解析wkb之前我们需要定义好全部的几何要素1、定义点类型，直接用两位浮点切片定义，如果需要z值就三位，我这里目前只需要二维数据就定义的2维。2、定义线类型，线类型由点类型组成3、定义环类型，该类型主要在存在环岛面的时候使用，环类型的特点就是起点和终点坐标一致4、定义单面类型，该面由环类型切片构成，我们还可以给在该类型中定义一些简单的几何函数//判断两个面是否相等if len(p)!

2023-06-06 12:44:25 3332 1

原创在pycharm中使用chatgpt

以前是面向搜索引擎编程，现在是面向chatgpt编程了。可以说是极大的解放的生产力。

2023-03-20 13:02:17 31497 17

原创动态矢量瓦片缓存库方案

矢量瓦片作为webgis目前最优秀的数据格式，其主要特点就是解决了大批量数据在前端渲染时出现加载缓慢、卡顿的问题，能够环境前端设备的计算压力。动态矢量瓦片技术，解决了矢量存储在数据库中的实时动态更新，不再需要使用离线工具对矢量进行本地切片发布的问题。但是动态矢量瓦片技术的缺陷也很大，就是因为其运行逻辑是通过对数据库矢量实时切片，那么当用户访问并发数过多的时候，pg库就会超负荷运行，会出现访问超时的情况。为解决这一问题，搭建矢量瓦片缓存库就非常重要。一、缓存库的意义。

2023-03-16 17:00:38 1903 3

原创 FME对调查云平台完成变更调查照片的批量迁移

技术就好似一把刀，坏人用来伤害人，厨师用来做菜，全看人如何使用。爬虫虽然是一门敏感的技术，但是合理使用，在提高了生产力的同时，也保证了数据的准确性，同时因为是走的后端http直接请求接口，节约了平台的开销，对比以前的人海战术，该方法还能减少平台的资源占用，对软件平台方的日常维护也产生了巨大的价值。

2023-01-06 22:30:34 1393 1

原创 Postgis动态矢量瓦片前后端部署指南

webgis最近随着智慧城市、数字孪生等项目大火，成为当下非常热门的技术。mapbox提出的矢量瓦片技术，解决的B/S端在面对大体量gis数据时的前端的渲染压力。使得前端地图在面对百万级的数据量依旧游刃有余，甚至比在C端上的浏览还要丝滑。动态矢量瓦片技术，解决了矢量存储在数据库中的实时动态更新，以及不再需要使用离线工具对矢量进行本地切片发布的问题

2022-12-25 17:45:15 2564

原创 Apache2.4+django4.0+python3.8+Windows11后端接口部署指南

参考各种关于apache服务器部署django的博客，发现很多博客都写的很片面，而且很多都有错误，照着配置根本部署不了，经过各种调试后最终被搞定，所以写下该博客，希望能帮助到需要的人。进入下载windows版本的Apache ，这里就会出现第一个坑，apache的编译VS版本必须和python的编译VS版本一致，我们可以在命令行调用python端口我们可以看到一个数字MSC V.1928，这个就是我当前版本python对应的vs版本，带入下面代码表。

2022-11-04 15:02:31 1188

原创 01、FMEObjcet api介绍之FMEFeature类

在学习该专栏课程前，需要大家对python基础知识有一点了解，比如什么是类，什么是函数，什么是面向对象。FMEFeature类是fmeobj中最核心的类，任何格式的数据在fme中的最终呈现都是以FMEFeature类来表示。FMEObjcet python api中提供了不少类方法，可以让我们在pythoncaller中实现很多有意思的操作，学会该类也会让我们在处理数据的时候更加的得心应手

2022-11-01 13:52:17 763

原创 FME高性能编程，让你的FME快起来

在处理大批量数据时，往往很多同学会发现，为什么我明明数据量很大，但是我的cpu利用率却非常低，而且内存占用却非常高。这个是很多软件都会出现的通病，不光限于FME。所以在学习高性能处理数据之前，我们还得了解下一些基础的计算机原理。一、计算机编译原理1.内存内存被分为了4个区，代码区，全局区，栈区，堆区。其中代码区就是存放函数体的二进制代码，由操作系统进行管理；全局区存放全局变量和静态变量以及常量；栈区由编译器自动分配释放，存放函数的参数值，局部变量等；

2022-10-20 15:04:26 1095 1

原创关于深度学习训练优化，模型微调详细解读

当我们在进行深度学习模型训练的时候，往往会因为数据在epoch很多次后，loss值不在下降，便会认为模型已经收敛，训练的参数已经达到了一个极限。那么这时候其实可以通过微调，微调基础模型的高阶特征表示，以使它们与特定任务更相关。通俗的来说，如果你的模型的score达到90后便不再变化，我们可以通过微调让正确率达到92。一、微调是什么所谓微调：冻结模型库的底部的卷积层，共同训练新添加的分类器层和顶部部分卷积层。这样可以是的模型的预测结果更加接近特定任务。

2022-09-22 17:29:53 2788

原创 FME实现VCT格式的读写（变更数据库、自然资源确权数据库转VCT格式）

国土资源部在国家标准《地理空间数据交换格式》（GB/T17798-2007）基础上制定了土地利用数据交换格式，土地利用数据仅描述矢量数据，文件的后缀名为VCT，简称为 VCT 文件，通过该文件来实现各类国土资源空间信息的交换。VCT矢量数据交换格式广泛应用于国土资源部门土地利用现状调查成果汇交、土地利用规划成果汇交和地籍调查数据库成果交换。

2022-09-14 23:49:00 2950 3

原创如何FME中使用QGIS算法

QGIS作为开源gis软件的主流，拥有大量的C++编写的优质算法，支持九交模型，具有功能齐全、高性能等特点，且所有算法都有对应的Python api，FME作为目前最好用的gisETL工具之一，如果能在FME模板流程中调用QGIS算法，那么FME能解决的事情就会更多了。一、QGIS和arcpyfme也能调用arcpy的算法，但是为什么我没有选择arcpy路线主要有这几大原因：1、arcgis闭源，算法封装的较为上层，只支持调用，不支持修改。...

2022-08-31 13:47:30 1354 1

原创 FME技巧分享之动态读取excel文件

1、无法将以某行设置为字段行作为动态参数，比如当我们遇到各类型复杂表格时，比如这种。虽然FME可以设置从某行开始读取，但该设置并不能设置为参数。2、如果某行内容的字符编码发生变化，则读取会报错，如下图所示，某行字符编码变为UTF-16LE，之前字符编码为UTF-8，出现不一致，则FME无法读取，唯一的解决办法是读取前提前修改字符编码，但是FME并没有读取前修改的功能。

2022-08-25 08:51:43 1505 1

原创基于FME开发的几何数据拓扑错误自动化处理软件

目前大部分质检软件都会对几何图形进行校验，比如图形的自相交、多边形自触、尖锐角、伪节点、悬挂线、重复节点、重叠面、缝隙面等。虽然现在有不少软件能实现处理，但是处理后的效果会因为各种各样的数据而不尽人意，大部分的质检错误都是人工手动修改。基于以上痛点，开发了该自动化处理模块。............

2022-07-29 16:00:20 2827 7

原创遥感影像分类工具和webgis的可视化应用

随着上个博客更新的web版fme数据处理平台的上线，我将深度学习模型和fme以及webgis结合，搭建出了一个轻量级遥感影像数据自动分类平台。核心功能非常简单，客户完成遥感影像上传，并选择参数，然后可以获得一个shp，以及在平台做了提取图斑的可视化。在两个月前我更新了一篇关于deeplabv3+语义分割模型和fme遥感影像自动提取地物的博客。当时的工具有几点不足。1、性能不足，采用了大量栅格数据的写入写出，耗费了性能。2、没有任何优化算法，分割出来的图斑都是不规则也不平滑的。不采用优化算法则会使得成果无法使

2022-07-13 21:56:46 1846 2

原创如何利用FME 创建自己的功能软件

目录前言一、概述二、开发思路1.前端开发（1）登录页面（1）功能页面（1）下载页面 2.后端开发二、发布上线总结经过几个月修炼，之前更新的一篇利用django和fme实现模板继承的研究现在终于开花结果，今天悟空就来分享一下利用fme作为后台计算模型搭建数据分析web应用，创建自己的功能软件，让用户彻底脱离fme环境。1、编程语言：JavaScript，python2、开发框架：前端VUE3 ,后端django3、数据库：数据表PostgreSql，进程管理数据库redis4、开发工具：webstorm，py

2022-06-22 22:47:45 1699 4

原创如何在FME 中离线配置Python 环境库

单纯python环境离线库安装很简单，只需要pip install 加上我们whl文件并执行就可以了。但是如果是在FME环境中，我们最常用的安装方式就是fme.exe python -m pip install xxx扩展包名称--target "C:\Program Files\FME\python"，这里target后面的路径是FME的python包存放路径，根据FME的环境变量有关系，如果是默认安装的话则就是"C:\Program Files\FME\python"路径

2022-05-10 16:26:41 1131 2

原创利用FME实现三调图斑地类自动提取与遥感影像自动分析监测

前言我是一名giser也是一名开发者，刚入行时，第一件事情就是做三调图斑的矢量化，当时费劲心思一天也才只能画2平方公里左右的矢量数据，随着不断的学习和接触了各种各样的新技术，如果能把这些过程实现自动化，哪怕不能完美，都不知道能节约多少人力物力。带着这个想法，我一路研究，最终是通过fme结合深度学习模块，将整套完整流程集成到了模板内部。在介绍这套方案之前，我首先得感谢我的和尚哥，他作为FME资深大佬，在整套流程的搭建中，指导我攻破了许多难题。一、环境搭建1、FMEFME作为主角，在整套..

2022-04-01 20:47:55 5820 5

原创如何在fme中用pythoncaller开启线程\进程池，多线程异步操作要素

目录前言一、什么是线程和进程二、使用步骤1.引入库2.写函数和传统HTTPCALLER对比前言在fme的数据流中，fme只能进行单进程7线程的计算，并不能有效的利用cpu的资源，在进行大批量数据计算的时候，原始的fme的单进程7线程就不能那么好的满足我们的需求了。一、什么是线程和进程可以简单粗暴的这么理解，一个进程可以控制多个线程，一个进程只能利用一个cpu核心。二、使用步骤1.引入库导入线程池和进程池模块from concurren...

2022-02-16 14:58:19 537

原创将fme的模板作为web端的后台计算模型，django实现模板集成

作者：努力的悟空目录前言一、需要用到的技术栈1.HTML5+CSS+JAVASCRIPT2.python+Django3.postgresql+redis+celery4.uWSGI+Nginx5.FME二、技术突破点1.如何将前端的表单信息传输到后台2.如何将数据打包并封装为dos指令3.设置动态唯一路径4.实现dos调用模板5.实现将成果文件夹压缩为zip6.实现用户文件的上传和最终成果的下载7.整个流程的实现三、存在问题和改进方案

2022-01-12 11:33:59 1258 1

原创 fme扫描件处理终章，深度学习和fme的极致结合，自动分户，分类，并提取宗地代码作为户档案文件名

目录前言一、需求二、实际操作1.图像分类2.图像分户3.成果输出总结前言本文将主要体现再深度学习的计算模型搭建好只有如何使用fme来将其功能发挥到极致，图像分类模型如何搭建和使用我上一篇文章有详细的介绍和说明。一、需求需求其实非常简单，农村房地一体项目档案资料，按目录顺序整理好之后直接上高速扫描仪将一个村的档案直接放到一个文件夹，我们需要利用fme调用深度学习模型来实现资料按户归档。可以看到按村扫描好的扫描件是直接这样非常暴力的放置的，按以前的逻辑，.

2021-12-01 14:11:39 2480 2

原创 python深度学习tensorflow和fme结合，实现档案扫描件数据自动分类

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤 1.引入库前言之前我发过一遍用fme调用谷歌的汉字识别库来实现扫描件分类的文章，虽然能减少大量的人力物力，但是缺点依旧有很多，比如很多扫描件资料文字不清晰，房屋照片图像资料无法识别，文字识别率低，环境配置复杂，同时分类效率低下，大概需要花费1秒才能完成一张照片的分类。于是悟空我开始从深度学习上探索如何实现扫描件的0误差分类。学习了接近一个月的机器学习基础，深

2021-11-14 23:53:28 3081 5

原创用fme提取图斑特征值用knn邻近算法构造训练模型，实现按照图斑形状相似度分类

作者：努力的悟空目录前言一、图形形状相似度分类案例二、需要环境和步骤1.用fme进行数据特征值提取2.读入数据3.数据分割4.特征工程预处理5.实例化估计器，和交叉网格验证6.模型训练7.模型评估8.输入值测试模型效果总结前言随着人工智能的不断发展，机器学习这门技术也越来越重要，机器学习的基本原理都是通过提取需要训练对象的一系列的特征值，然后提前设定好分类目标值，通过投喂大量的数据来完成模型的建立。之后就只需要通过该模型的计算得出数据的预测值..

2021-11-03 09:20:35 976

原创用fme和Python-selenium模块实现网站表格批量自动化录入和文件上传

前言：现在很多系统平台，都有大量的填报录表、上传扫描件附件等的工作内容，尤其是涉及很多数据已有的数据信息（例如只有一份录入好的电子表格）然后我们花费大量的人力物力，去做复制粘贴的工具，将一个电子表格的内容一项一项的复制粘贴到平台。所以悟空分享一个用web自动化脚本工具，selenium来替代人类，帮我们完成这些重复繁琐的工作。...

2021-10-31 17:28:18 2803

原创用纯fme批量生成界址点成果表（模板格式全部自拟）

前言：今日悟空分享一期fme干货教程，用fme来从地籍图上面提取宗地、界址等各种信息并批量导出为界址点成果表，其中涉及了cass数据的基础转换分析、Excel表格的高阶处理等核心技术、以及fme的几个底层逻辑。还希望各位小伙伴能不惜自己的关注和点赞。一、需求分析首先我们需要从cass图中提取宗地线，然后获取界址信息、边长信息、宗地面积、自然幢面积等信息。然后拟定一个界址成果表的模板，将信息通过模板导出为界址点成果表。当然这些在南方cass中有自带的界址点成果表生成工具，但是一旦涉及到界址点成果表模

2021-10-10 23:35:44 5167 4

原创 fme结合python-pandas实现图形数据和表格数据的模糊匹配挂接

1、需求分析1.shp为原始数据，包含了图形信息和属性信息，可以看到姓名作为挂接项，包含的干扰项目很多，让我们根本没有办法用正则表达式过滤出来2.xlsx为表格数据，里面包含了我们需要挂接的属性，我们需要将表格的属性通过姓名模糊匹配挂接到shp中。2、需要工具完成这个需求，我们需要有fme，以及安装到fme里面的python3.7 pandas包。不会安装的小伙伴可以看我第一期的博客内容，里面有fme安装pandas详细介绍。3、实现过程1、核心转换器为python...

2021-09-27 15:00:57 1543 1

原创强大的ETL工具fme和python结合实现不动产登记确权项目入库扫描件自动分类归档

从最开始接触fme的时候，我就一直有一个想法，fme能不能和机器学习、深度学习、统计学回归算法结合实现大批量数据的智能操作，奈何学识一直有限，到目前都没实现突破。但是房地一体确权登记项目的扫描件相对很多不规范数据来说通过提取特征文字实现自动分类归档是可以通过用python调用谷歌的汉字识别库pytesseract来实现特征值提取，然后用fme进行数据清洗，最后整理数据输出成我们想要的档案档案结构。既然大体思路已经定下来了，剩下的就是从各个技术难度逐一突破的问题了，首先python提取图片的包Open

2021-09-14 13:24:06 2613

weixin_57664381的博客