- 博客(60)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Elasticsearch的Mapping介绍
Mapping是定义一个文档以及文档包含的字段如何存储和索引的过程。每个文档是一些字段的集合，每个字段都有自己的数据类型（data type）。当映射数据（mapping data）的时候，我们其实就已经创建了一个映射定义（mapping definition），这个映射定义中包含了一系列的跟文档一致的字段。一个映射定义中也定义了元数据字段，项“_source”字段。这些元数据字段用来规定一个文档相关的元数据是如何处理的。Elasticsearch支持动态映射和显式映射两种方式定义数据。在处理数据时，
2021-10-15 14:13:05
337
原创 Elasticsearch7.15中的Index APIs
Index APIs用来管理单个索引、索引配置、别名、映射以及索引模板。包含八类：索引模板（Index management）、映射管理（Mapping management）、别名管理（Alias management）、索引配置（Index settings）、索引模板（Index templates）、监测（Monitoring）、状态管理（Status management）、悬空索引（Dangling indices）。...
2021-09-30 16:30:17
186
原创 Elasticsearch7.15中的Get mapping API
Get mapping API请求语法（Request）先决条件路径参数<ＴＡＲＧＥＴ>查询参数allow_no_indicesexpand_wildcardsinclude_type_nameignore_unavailablelocalmaster_timeout举例三级目录用来检索一个或多个索引的映射定义（mapping definitions）。对数据流而言，这个API用来检索数据流的后备索引的映射关系。请求语法（Request）GET /_mappingGET /<tar
2021-09-30 16:16:40
603
原创 Elasticsearch7.15中的REST APIs
Elasticsearch7.15中的REST APIsIndex APIs请求语法（Request）先决条件Cat API二级目录三级目录Index APIs如果想让一个JSON文档能够被搜索到，必须使用“Index”系列API添加这个JSON文档到特定的数据流或是索引中。如果API语法中的target是一个索引，并且文档已经存在的话，这个请求会更新已存在文档的内容，同时增加版本号。请求语法（Request）PUT /<target>/_doc/<_id>POST /&l
2021-09-30 15:57:41
125
原创 Elasticsearch7.15学习笔记
Elasticsearch7.15学习笔记如何向Elasticsearch中增加数据Elasticsearch中存储的数据类别如何向Elasticsearch中增加数据可以向Elasticsearch中增加数据，增加的数据称之为文档（document），并且以JSON对象进行组织。Elasticsearch存储这些document在可以查询的索引中。对于时间系列的数据，比如日志和指标数据，我们往往会以数据流的形式来增加文档到Elasticsearch中，而这个数据流是由多个自动生成的后备索引组成的。
2021-09-30 13:54:27
186
原创 GIS用户中台的设计与实现
GIS用户中台的设计与实现摘要1 什么是中台2 什么是GIS用户中台3 GIS用户中台的功能设计3.1 用户信息统一管理系统3.2 角色权限统一管理系统3.2.1 角色管理3.2.2 权限资源管理①菜单（按钮）管理②GIS服务管理③数据资源管理3.3 统一身份认证系统3.3.1 验证码认证3.3.2 单点登录3.3.3 开放授权机制3.4 统一授权系统3.5 日志管理系统3.6 监控分析系统4 GIS用户中台实现4.1 技术栈选择4.2 中台技术架构4.3 开发实现5 总结参考文献:摘要摘要：中台是从美
2021-08-21 16:19:02
1840
原创 天津市“多规合一”信息资源目录体系建设
天津市“多规合一”信息资源目录体系建设摘要1 前言2 必要性和意义3 “多规合一”信息资源目录分类3.1分类3.2代码结构4 元数据5 标识符编码规则5.1 前段码5.2 后段码6 结论参考文献摘要摘 要：政务信息资源目录体系是实现政府部门间政务信息资源共享的基础。为了进一步提高天津市“多规合一”信息资源的利用水平、实现与其他政务信息资源的融合、共享、交换，必须建立天津市“多规合一”信息资源目录体系。本文着重论述了天津市“多规合一”信息资源目录体系的基本内容：信息资源分类、核心元数据、标识符编码规则，
2021-08-21 16:11:34
714
原创 云GIS架构的研究与实践
本文结合天津市“一张蓝图、多规合一”综合管理平台项目，对云GIS 的构建、应用、管理方面进行了积极探索，通过将云计算与GIS技术进行融合，实现了计算资源、存储资源、GIS资源的弹性管理、按需分配。
2021-08-21 12:31:22
1227
1
原创 Elasticsearch中多类别空间查询的实现流程
空间数据从传统的关系型数据库同步到Elasticsearch中实现多类别要素空间查询的实现流程如下：1.确定坐标系：根据应用场景确定Elasticsearch中存储的空间数据的坐标系类型。2.坐标转换：如果数据源与Elasticsearch中的坐标系不一致，需要将数据源的坐标转换为目标坐标系。3.格式转换：将各种格式的空间数据，如Shapefile、Geodatabase等转换为GeoJSON或WKT结构组织的数据文件。4.建立索引模板（Index template）：Elasticsearch按照
2021-04-09 17:41:08
404
原创 Elasticsearch中的字段数据类型
Elasticsearch中的字段数据类型如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入字段数据类型（Field data type，field type）：也称为之为字段类型，每个字段都有一个字段数据类型。字段数据类型用来标识字段所含数据的类型，比如字符串、bool值等。我们可以将字符串映射成tex
2021-04-08 14:06:16
402
原创 单点登录OAuth资料
OAuth2实现单点登录SSOhttps://www.cnblogs.com/cjsblog/p/10548022.html
2021-01-10 10:43:24
107
转载 Geoserver的style样式设置
1、ArcGIS加载shp数据，进行配色后，可以使用ArcMap2SLD软件把样式导出为sld样式文件。2、在Geoserver中新建样式，注意sld文件和数据存储的编码问题。（一般都设置为UTF-8）。3、查看所有TMS服务的地址：http://localhost:8080/geoserver/gwc/service/tms/1.0.0作者：WebGiser链接：https://www.jianshu.com/p/b862470ae914来源：简书著作权归作者所有。商业转载请联系作者获得授权，
2021-01-09 13:51:30
978
原创 达梦数据库笔记之数据库备份（BACKUP DATABASE）
达梦数据库（DM8）支持通过联机执行SQL语句方式对数据库执行备份还原操作。联机方式支持数据库、用户表空间、用户表和归档的备份，用户表的还原。在进行联机库级备份、归档备份和表空间备份时，必须保证系统处于归档模式，否则联机备份不能进行。在使用SQL语句中，若指定的备份名、加密算法名长度超过128个字符，会导致语法分析错误。在使用BACKUP DABASE TO backupname BACKUPSET ‘/home/db_bak/db_bak_3_01’;命令进行数据库备份时，需要注意：1）BACKUP
2020-12-08 16:28:55
2017
原创 达梦数据库（DM8）中归档模式的思考
说明：下文中没有特殊说明的话，达梦数据库指的是DM8版本，会用DM8代替。一、什么是归档实际上，在DM8中没有“归档”这个独立的词，一般是跟其他词组合在一起形成专有名词，如归档模式、归档日志文件。单独出现的时候往往指代的是将重做日志（REDO 日志）写入到归档文件的过程。下面就介绍一下与归档模式相关的概念。1、归档模式归档模式是与非归档模式对应的，这两种模式是DM8数据库的两种运行状态。非归档模式下，数据库只会将重做日志吸入联机日志文件中进行存储；归档模式下，数据库会同时将重做日志写入联机日志文件
2020-12-07 15:48:39
1199
原创 达梦数据库（DM8）中LENGTH_IN_CHAR参数的说明
错误场景还原今天在利用DEXP、DIMP工具做达梦数据库（DM8）的测试工作的时候，导入数据时，工具提示[警告]服务器与文件内数据的LENGTH_IN_CHAR参数不匹配【警告】可能会有错误发生。这是因为源数据库、目的数据库的初始化参数LENGTH_IN_CHAR设置不一致的原因。LENGTH_IN_CHAR参数说明VARCHAR 类型对象的长度是否以字符为单位。取值：1、Y 表示是，0、N 表示否。默认值为 0。可选参数。1 或 Y：是，所有 VARCHAR 类型对象的长度以字符为单位。这种
2020-12-04 17:08:32
8790
4
原创 达梦数据库（DM8）中的用户模式（SCHEMA）
一、用户的模式（SCHEMA）解析用户的模式（SCHEMA）指的是用户账号拥有的对象集，在概念上可将其看作是包含表、视图、索引和权限定义的对象。在DM中，一个用户可以创建多个模式，一个模式中的对象（表、视图）可以被多个用户使用。模式不是严格分离的，一个用户可以访问他所连接的数据库中有权限的任意模式中的对象。也就是说，用户和模式是N：M的关系。系统为每一个用户自动建立了一个与用户名同名的模式作为其默认模式，用户还可以用模式定义语句建立其它模式。二、采用模式的原因分析采用模式的原因有几点：1、允许多个
2020-12-04 12:40:42
9024
1
原创 DM8在中标麒麟高级服务器操作系统（NeoKylinV7Update6）上的安装
一、安装软件说明操作系统：从银河麒麟官网上申请试用的中标麒麟高级服务器操作系统，NeoKylinV7Update6.0版本数据库：从达梦官网上申请试用的DM8（Linux-rel7-64位）。二、操作系统安装DM8数据库管理系统安装手册中要求操作系统如果是Linux的话，需要 glibc2.3以上，内核2.6，已安装KDE/GNOME桌面环境，建议预先安装UnixODBC组件。本测试安装的NeoKylin是最小化安装，安装的时候没有选择任何组件。三、检查系统信息在正式安装之前，最好检查一下
2020-12-02 14:31:19
1422
原创 CentOS8.2 服务器中安装达梦8
一、安装环境说明1、操作系统：Centos 8.22、数据库版本：武汉达梦8（DM8），需要申请针对Centos 8的版本。直接在官网上申请的linux版本rh7-64位，只能安装在Centos7.*上。3、硬件：外星人工作站二、安装操作系统通过U盘安装的方式，在外星人工作站上安装Centos 8.2 常规版（带GNOME图形化，默认为命令行启动-multiuser.target）三、安装数据库说明:本文档中涉及的DM8安装介质是从官网上申请的测试版，没有达梦公司的公钥和购买的许可，所以安装的
2020-11-30 14:03:14
891
原创 CentOS8.2环境下安装Supermap Iserver 10i（2020）
1.获取安装介质从超图官网上下载supermap iserver 10i（2020）即V10.1.0版本，选择Linux版本，TAR包，Deploy包都可以。下面的介绍和安装过程都是以tar为例下载地址：http://support.supermap.com.cn/DownloadCenter/ProductPlatform.aspx2. 将安装介质传输到CentOS 8.2服务器上。可以借助第三方工具，或是通过windows和linux共享文件的方式上传。本人使用winscp工具将安装介质拷贝至
2020-11-28 15:58:00
608
原创 centos 8.2 命令行启动
centos 8.2 命令行启动在CentOS 8.2中，不再通过修改 /etc/inittab文件变更系统启动方式了。修改/etc/inittab文件已经无法达到任何效果。在CentOS8.2中，CTRL+ALT+DELETE命令是由/usr/lib/systemd/system/ctrl-alt-del.target文件处理的，并且使用“targets”代替了runlevels。默认情况下，CentOS8.2中有两种主要的启动目标（target）：multi-user.target对应runle
2020-11-28 12:27:15
657
原创 Spring boot 与Swagger3.0的整合
Spring boot 与Swagger3.0的整合用Maven创建工程后，在Pom.xml文件中引入swagger 3.0的依赖。如果没有引用spring-boot-starter-validation（在没有声明版本号）依赖的话，在中的spring-boot-starter-parent的版本最高只能到2.2.11.RELEASE，2.3.0以上的就会出现javax.validation.constraints相关包无法找到的编译错误。如果在依赖中，引入spring-boot-starter-val
2020-11-26 16:15:39
259
原创 地理信息软件开发企业国产化之路
随着国家安可目录的提出，继而信创的推进，地理信息软件开发企业的国产化转型迫在眉睫。新创行业涉及IT基础设施、基础软件、应用软件、信息安全等一系列上下游行业，地理信息软件开发企业，乍一看处于应用软件这一环节，但是受依赖的IT产品较多，转型过程的工作量很大。总得来说，在转型过程中，需要两部分工作：一是选择替代品；二是技术人员转型。一、替代品选择选择国产化产品是由几点原则：1、考虑开发的地理信息产品的用户环境桌面操作系统需要以终端用户的使用环境为准，服务器端的操作系统需要考虑虚拟化等应用需要。2、考虑
2020-10-22 17:09:24
1055
原创 supermap iserver 10i(2020)安装
一、安装环境操作系统：windows server 2012 R2 standard（通过H3C云管理系统虚拟化）处理器：Interl Xeon CPU [email protected]（2处理器）内存：4G位数：64位软件版本：SuperMap iServer 10i(2020) for Windows(x64)(Deploy包）二、...
2020-10-22 13:41:29
6893
1
原创 埋点数据总结
一、埋点数据通过埋点技术在应用系统的指定流程中收集用户行为信息，这部分数据称之为埋点数据。埋点数据可用于跟踪用户使用状况，进而优化产品设计。例如跟踪页面路径，我们可以发现某些产品环节设计不合理导致用户频繁跳出。通过埋点获取用户访问次数、访问用户数、内容跳出率、转化率等。二、埋点数据的格式与内容埋点数据可以用事件模型来描述用户在使用产品时的各种行为，事件模型包括事件（Event）和用户（User）。事件包括记录用户、事件时间、事件地点、事件属性、事件内容。三、埋点数据获取的技术方式1、代码埋点。代
2020-10-19 18:46:06
806
原创 数据中台建设五步法
一、数据资源的盘点与规划数据化的基础是信息化或者是信息化所产生的数据。数据资源的盘点与规划需要达到以下目的：（1）对现有数据资源盘点和统计。（2）对企业可以拥有或者应该拥有的数据资源进行规划。（3）构建盘点体系并使用必要工具，保证盘点的成果能够始终与真实情况相符。二、数据应用规划与设计该步骤可以回答以下几个问题：（1）企业中有哪些数据需求（2）企业应该构建哪些数据应用（3）应该按照什么顺序实现这些数据应用三、数据资产建设数据资产将是企业在全面数据化建设前期中投入最多、见效最慢的基础层
2020-10-19 15:04:22
1027
原创 数据中台的价值与建设的必要性
3.2数据中台的价值与建设的必要性（P55）1、数据中台是数据化建设的基础2、数据中台是企业数据化建设的引擎数据化工作是一个系统化工作。数据化工作更零散、更分散。数据化工作的投入产出比需要完整评估。数据化工作的基础建设工作投入巨大。数据化工作的成熟度相对较低。3、数据中台将各个部分的数据工作有机串联从数据资源层、数据资产层、数据应用层到业务价值，数据就像一条完整的供应链。...
2020-10-19 14:32:25
4297
原创 Oracle中表的基本类型
按照逻辑结构划分按照逻辑结构进行划分，Oracle中的表有3种基本类型：一种是关系表（relational table），这是最常见、也是最基本的类型；另外还有对象表（ object tables ）和XML表（ XMLType tables ）。按照存在实效划分这三种类型的表都可以定义成永久表和临时表。临时表：临时表只保存会话级别的数据，只在一个会话或是事务中存在，会话关闭或事务结束，...
2020-01-14 16:59:47
564
原创 Oracle的Schema对象
Oracle中Schema一系列是数据库对象的集合。一个Schema由同名的数据库数据库用户所有。Schema对象（schema objects）是由用户创建的一些逻辑结构，比如存储物理数据（hold data）的表、索引，或者仅仅包含定义信息的视图、同名词等。Oracle的Schema术语和表空间之间没有任何关系。在一个Schema中的对象可以存储在不同的表空间中，一个表空间也可以存储不同Sc...
2020-01-09 16:44:24
891
原创 Oracle 12C RAC初始化参数管理
管理一个Oracle RAC数据库的初始化参数和管理单实例Oracle数据库一样重要。通过Oracle EM查看初始化参数时，Oracle RAC数据库的初始化参数有以下区别：集群特定参数在类别（Category）列中用“Cluster Database”标识。Oracle RAC数据库中每个实例具有相同值的参数在实例（Instance）列中用星号（*）标识。Oracle RAC...
2020-01-08 11:45:22
435
1
原创 Oracle 12.1RAC集群搭建硬件需求
根据Oracle公司提供的帮助文档《2 Day + Real Application Clusters Guide 12c Release 1 (12.1)》中提到的搭建Oracle 12.1集群需要的硬件环境为：1、安装Oracle GRID Infrastructure以及Oracle RAC至少需要4GB的RAM。2、跟RAM相同容量的交换区。3、至少需要2块万兆级别的网卡，以支持公共...
2020-01-02 16:01:35
1711
原创 Oracle 12C的逻辑存储结构
一、数据库（Database）“数据库”是磁盘上数据的集合，位于收集和维护相关信息的数据库服务器上的一个或多个文件中。数据库是由各种物理和逻辑结构组成，而表则是数据库中最重要的逻辑结构。组成数据库的文件主要分成两类：数据库文件和非数据库文件。两者之间的区别在于存储何种数据。数据库文件包含数据和元数据，非数据库文件则包含初始参数和日志记录信息等。二、实例（instance）Oracle数据库...
2019-12-23 15:36:04
315
原创 Elasticsearch7.4中Histogram aggregation（直方图聚合）
直方图聚合是一个用于评估数值型或是数值范围型价值的文档的多桶（multi-bucket）聚合，它可以对参与聚合的值动态生成固定尺寸的桶。比如，如果一些文档具有数值型字段“price”，我们可以配置聚合间隔为5（在价钱中可能为5元）来动态生成直方图统计。当聚合执行的时候，每个文档的price字段会参与估算，并且为四舍五入到最近的桶中。比如，如果一个文档的price字段值为32，桶的尺寸为5，并且字段...
2019-12-19 16:49:36
1132
原创 多源异构数据整合在多规合一中的应用
一、什么是多源异构数据解释一：bonlog在博文《什么是多源异构数据》（https://blog.csdn.net/bonlog/article/details/84308418）中提到在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简...
2019-12-19 10:34:19
5274
2
原创 在logstash7.4中实现不同来源数据输出到Elasticsearch的指定索引中
需求分析logstash可以采集不同来源、不同格式的数据，经过清洗、转换后统一存储到Elasticsearch中。为了区别不同来源的的数据，在Elasticsearch中可以分别建立索引。为了实现这个需求，需要在Logstash定义不同的数据源，根据数据源匹配对应的输出。需求实现1、首先在Elasticsearch中为不同来源的数据建立映射（mapping），定义每个字段的数据类型。2、其...
2019-12-18 13:29:42
1811
原创 实现Oracle12.1.0.1 到Elasticsearch7.4的动态增量更新
本人在前面写的《通过Logstash实现Oracle数据到Elasticsearch的批量导入》一文中介绍的方法适用于在搭建初始环境时，把原始数据一次性导入到Elasticsearch中。但是实际生产过程中，往往是需要实现Oracle到Elasticsearch的实时同步。下面我就来介绍一下借助Logstash7.4实现Oracle12.1.01到Elasticsearch7.4的动态增量更新的方...
2019-12-17 17:08:01
624
原创 Logstash7.4动态加载配置文件
从logst2.3开始，我们就可以把Logstash配置成动态监听配置文件修改、再加载配置文件功能。在启动logstash的时候使用命令行选项--config.reload.automatic（或是-r）就可以将logstash配置成动态更新配置信息。举个例子：bin/logstash -f apache.config --config.reload.automatic注意：当在命令行中...
2019-12-17 16:04:30
3045
原创 实时搜索引擎Elasticsearch7.4中的邻近矩阵聚合（Adjacency matrix aggregation）
邻近矩阵聚合（Adjacency matrix aggregation）返回一个邻近矩阵的表格。邻近矩阵聚合请求类似于filters聚合请求，需要提供一组命名的过滤表达式集合。返回的每个桶代表了相交过滤器矩阵的非空单元。比如提交的过滤器名称为A、B、C，那么返回的桶会向下面形式返回：像A&C这个相交的桶，用两个过滤器的名称组合进行标识，名称之间用“&”连接。从上面的表中，我们...
2019-12-17 15:15:19
708
原创 实时搜索引擎Elasticsearch7.4的Bucket聚合
实时搜索引擎Elasticsearch7.4提供了4大家族的聚合方式，包括metrics聚合、bucket聚合、matrix聚合以及pipeline聚合。bucket聚合集不像指标聚合集（metrics aggregations）基于字段计算指标值，他们会生成数桶文档（buckets of documents）。每一桶都和一项规则（由聚合类型决定）对应，这些规则决定了在当前上下文（in the ...
2019-12-17 13:52:42
410
原创 Elasticsearch7.4中的Geo Bounds聚合
Geo Bounds聚合是一种指标聚合，用来计算能够包含所有地理坐标点（geo_point）的边界多边形。POST /museums/_search?size=0{ "query" : { "match" : { "name" : "musée" } }, "aggs" : { "viewport" : { "ge...
2019-12-17 09:53:16
590
原创 Elasticsearch7.4中加权平均聚合
Elasticsearch7.4中的Weighted Avg aggregation（加权平均聚合）也是一种单一值指标聚合，通过提取参与统计的文档中的数值进行加权平均计算而得。这些获取的数值可以是参与聚合文档的某个指定字段的值，也可以通过脚本计算而得。当计算一般的平均数时，每个参与计算的数值具有相等的权重，也就是对最后的结果影响是一样多的。而加权平均数计算时，每个数值的权重不相同。每个参与聚合的...
2019-12-16 17:39:04
1171
DB12T 819.3 -2018城市建设管理政务信息资源目录体系 第3部分：标识符编码规则.pdf
2019-06-26
DB12T 819.2 -2018城市建设管理政务信息资源目录体系 第2部分：信息资源分类.pdf
2019-06-26
DB12T 819.1 -2018城市建设管理政务信息资源目录体系 第1部分：核心元数据.pdf
2019-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人