- 博客(167)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 duckdb+minio测试
跟linux机器基本上一样，除了后面不需要添加data_path参数了，catalog已经存在了并且data_path已经存储在了，所以不需要再次指定data_path参数了。通过catalog（postgresql) + data(minio) 配置，这样通过别的机器也可以操作这个库了，这样就实现了并发访问了，如下。可以通过snapshots函数查看现有的快照，并且访问不同快照的数据。
2025-06-11 17:31:58
81
原创 ducklake+minio 测试
1. 下载minio，启动后在控制台中创建名字为testbucket的bucket. 并在该桶中创建data_folder的目录，用来存储数据。6. 创建成功后，在postgresql 的ducklake_catalog库中创建了很多ducklake相关的catalog表，这些表就是用来管理后台数据存储中的数据，每个表具体什么作用可以查看。又增加了一个删除文件，但是新增的删除文件中的记录包括了上一次删除的记录，这主要是为了支持删除snapshot的功能，在此不在介绍。通过外部的文件创建一张表，如下。
2025-06-11 13:34:54
521
原创 PostgreSQL（PostGIS）触发器+坐标转换案例
我测试数据为4326到3857转换，该转换为公开算法，因此可以使用postgis自带的st_transform实现，但是很多时候进行转换的都是cgcs2000到地方坐标，只有甲方有相关算法，并且再使用国产数据库的时候，st_transorm的代码在数据库厂商手中，因此需要甲方和数据库厂商配合，甲方提供转换的函数或者动态库提供给数据库厂商来修改st_transform函数。需求，只录入一份坐标参考为4326的数据，但是发布的数据要求坐标必须是3857。对这种需求可以利用数据库触发器实现数据的同步。
2025-06-04 09:18:23
360
原创 PostgreSQL ERROR: out of shared memory处理
pg_dump -d dbname的时候会对库中所有的表执行lock table in shared mode 操作。所以解决这个问题除了增加max_locks_per_xact参数的数量，增加最大连接数实际也可以。从错误字面上看是超出内存大小了，建议增加max_locks_per_transaction参数。可以看出来，跟最大连接数和max_prepared_xacts相关。使用pg_dump命令导出一个库的时候，报。该操作会将表锁记录到表锁所在的共享结构中。
2025-05-31 17:38:48
389
原创 编译pg_duckdb步骤
git submodule update --init --recursive 来下载所需要的duckdb的源码到该目录中，但是实际使用貌似不行，所以需要到github中直接下载duckdb的源码并放到third_party中。1. 要求cmake的版本要高于3.17，可以通过下载最新的cmake的程序，然后设置.bash_profile的PATH环境变量，将最新的cmake的bin目录放到PATH环境变量的最前面。注意下载解压后，里面的third_party目录是空的，本来make的时候会执行。
2025-05-27 11:41:03
317
原创 linux signalfd
linux从内核2.6.22开始提供了signalfd系统调用函数。该函数提供了一个与信号绑定的特殊文件符号，也就是说发送给进程的信号，可以通过该函数提供的文件符号读出来，进一步践行一切皆文件的宗旨。同时该函数可以与select,poll,epoll多多路复用函数使用对信号进行监听处理。
2025-05-26 09:37:55
271
原创 PostgreSQL 处理链接请求
PostgreSQL的后期版本（16，17）在监听客户端链接以及客户端退出部分的监听处理部分由select 函数修改成epoll函数，具体原因不在此介绍。PG14版本还使用的select。
2025-05-23 15:56:25
238
原创 PG Merge语法使用
从PostgreSQL15开始支持Merge Into语法，以前版本可以使用insert ... do conflicts语法。目标机器 100.51 PostgreSQL 17.4 (编译安装的时候需要把dblink扩展加上)源机器 100.138 PostgreSQL 11.5。数据情况如下：图层名字maincity（源和目标结构相同）2. 在目标机器上创建dblink，以方便连接到源机器。3. 把objectid小于1200的同步过来。
2025-02-27 11:19:22
297
原创 inotify-tools使用
e 指定要监视的事件，多个时间使用逗号隔开。ymd分别表示年月日，H表示小时，M表示分钟。%T 使用由–timefmt定义的时间格式。-q 减少冗余信息，只打印出需要的信息。–format 监听到的文件变化的信息。可以配合rsync实现文件的自动同步。-r 使用递归形式监视目录。–timefmt 时间格式。%w 表示发生事件的目录。%f 表示发生事件的文件。%Xe 事件以“X”分隔。%e 表示发生的事件。
2025-02-10 14:44:47
152
原创 如何通过sql修改postgis的srid
从定义中可以看出srid要不从atttypemod中获取，也就是shape定义成(geometry,4326)，要不从其 constraint上获取。那geometry_columns 中的srid是从哪获取到的呢。3. 现在查询geometry_columns。发现其元数据并没有更新过来，变成0了。4. 添加constraint。1. 删除check。
2025-02-05 11:49:13
211
原创 linux下非root用户监听0-1024端口的方法
解决setcap导致Java加载libjli.so 失败问题 - chenxueqiang - 博客园
2024-12-11 13:42:15
311
原创 瀚高安全版创建postgis过程
由于安全版中三权分立，sysdba,syssao,syssso 三个用户，因此创建扩展需要关闭hg_sepofpwoers参数。3. 执行 select set_secure_param('hg_sepofpowers','off');这次测试的为瀚高安全版数据库系统V4.5.8, x86_64平台,5. 执行create extension postgis;2. syssso 链接到highgo库中。1. 安装server以及postgis。
2024-03-07 09:53:24
706
原创 tcpdump 常用用法
nn 显示ip地址和数字端口 ，如果只 -n 则显示ip，但是端口为services文件中的服务名。当然这个图是客户端先发起关闭链接请求，跟实际测试例子不同，因此仅仅为了参考使用。客户端telnet 192.186.100.138 命令下，服务器端显示如下。-i enp0s25 指定抓包的网卡是enp0s3。如果一个n也不指定，则显示域名以及服务名。-S TCP的seq以及ack显示绝对值。监控某个ip上的某个端口的流量。简要记录下tcpdump用法。port 抓取该端口中的信息。
2024-02-29 17:13:18
1994
1
原创 linux 自动断点续传方法
linux 上的rsync工具是支持断电续传的，类似（winscp），但是并不能做到自动的断点续传，比如在某些网络环境很不稳定的情况下，传输比较大的文件，就牵扯到自动断点续传的功能，那就需要自己写脚本进行判断处理了。1. 设置ssh自动登录（本例子rsync工具使用默认的ssh协议）,ssh-copy-id。2. 设置crontab执行脚本如下（每分钟检测一次）send.sh脚本内容。
2024-02-27 13:50:32
901
原创 kubernetes常见问题
修改/etc/etcd/etcd.conf 中的 ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"，让其监控所有ip。无法注册通过127.0.0.1:2379注册到etcd中，应该是etcd有问题。默认etcd并不监控127.0.0.1的2379端口，只监控IP:2379。1.kube-apiserver 的服务无法启动。2. 查看etcd的状态。
2024-01-31 17:32:57
753
原创 docker&&pipwork相关测试过程
这样，并且两个容器中除了eth0设备是挂接在docker0网桥上，还添加了一个eth1，该设备是链接在pipework建的br1上，如下所示。pipework可以减轻docker实施过程中的工作量，在网上也找了几篇类似的文章，按照相应配置，结果并不相同。docker启动的过程中，icc选项默认是true，因此iptables的FORWARD中会添加一条。然后再c1中ping c2 ,但是发现并不能ping的通，这跟网上介绍的测试结果不相同，如下。但是使用docker自动分配的ip是可以ping的通的。
2024-01-31 11:57:24
616
原创 创建私有docker镜像库过程
但是笔者按照上面链接测试发现，私有镜像存储位置并非链接上所说的/docker/registry/ 目录，而是/var/lib/registry, 因为registry镜像定义了一个路径为/var/lib/registry的volumn。如果不对该column做显示映射，docker会自动在宿主机的工作目录中创建一个目录，然后将该目录与/var/lib/registry挂接起来。此时通过push可以将镜像放到私有服务器中，具体过程可以查看。当然了自己也可以修改容器中存放镜像的目录，然后形成新的镜像。
2024-01-27 13:12:08
384
原创 从centos镜像上创建具备SSH链接的Dockerfile
（实际该命令也是读取Dockerfile文件中的内容，发送给docker的服务端进程，然后创建container后，执行里面的各个指令后，使用docker commit后保存镜像，然后再自动删除container）4. 执行docker build -t centos:sshd .2. 创建名字为Dockerfile的文件。1. 创建目录，名字随意。
2024-01-26 15:17:56
511
原创 mongodb相关信息
1. 分别下载 cmake,boost,mongo-c driver, mongo-cxx-driver (https://github.com/mongodb/mongo-cxx-driver/tree/releases/v3.4)2. boost下载的版本为60,放在e:\info\boost目录下，编译boost，步骤如下a. cd到 X64 native Tools Command Prompt for VS2017b. cd到e:/info/boost/boost_1_60_0目录下，
2023-12-18 14:19:48
1064
原创 GeoScene+人大金仓V8R6使用方法
4. 链接到新建的库上 create extension postgis. 和 create schema sde authorization sde;5. 使用pro或者arcmap用sde用户建立链接后，右键选择Enable Enterprise Geodatabase就可以了。基于兼容oracle模式,initdb 的时候 dbmode不指定的情况下就是基于oracle模式。初始化库完后先在kingbase.conf中添加如下四个参数。
2023-11-03 16:23:50
625
原创 PostgreSQL+SSL链路测试
SSL一个各种证书在此就不详细介绍了，PostgreSQL要支持SSL的前提需要打开openssl选项，包括客户端和服务器端。7.实际上这时候就可以用psql 连接，只不过是ssl的单向认证，也就是客户端对服务器端的认证。3. 配置PG服务器部分，我的PG服务器是在postgres134用户下，因此需要。在PG的PGDATA目录中需要生成三个文件。生成server.csr(服务器签名)5. 设置pg_hba.conf。生成server.key。生成server.crt。生成root.crt。
2023-08-24 08:48:11
2018
原创 Linux 上 离线部署GeoScene Server Py3 运行时环境
图1中的内容并不是实际的离线文件，实际上执行conda install -c esri arcgis-server-py3=10.8.1后，会自动根据版本去寻找对应的图1中的文件 ，并按照conda的规则下载相应的python依赖包。图5 etc/conda/activate.d/arcgis-server-py3-env_vars.sh 激活空间所执行的脚本。同理etc/conda/deactivate.d/arcgis-server-py3-env_vars.sh 为取消空间。
2023-08-22 11:53:15
582
原创 GeoScene Geodatabase对OpenGauss系列商用产品的支持的步骤
基于OpenGauss系列主要包括vastbase G系列产品,GBase8c ,GBase8s, Shentong For OpenGauss。1. 建库的时候需要将DBCOMPATIBILITY='PG' 否则后续插入数据的时候会出现文本数据录入不进去的问题。原因：默认的是兼容oracle的模式，oracle定义字符的个数是按照字节数定义的，而PG是按照字符数量定义的。2. Shentong兼容oracle模式例子。具体可以在pg_database进行查询。3. shentong基于PG模式。
2023-08-11 17:02:05
1398
原创 实时展示st_union结果集的玩法
客户的需求很简单，就是有个面图层，需要根据某个识别字段把相关的面给union起来，为了能够实时，所以使用了view，但是该view无法用arcgis desktop中打开，下面是测试过程。今天碰到客户在PostgreSQL中使用view实时获取st_union的结果集,有点流数据库的感觉，挺妖也挺有意思，所以就玩了一会。实际上view上面无法创建空间索引也没有办法使用实体表上的索引，所以数据量大了，大比例尺访问会有效率问题。1. 创建union后的表以及相关索引。2. 创建相关的trigger。
2023-06-28 10:27:32
382
原创 Java访问PG后台代码执行流程
ReadCommand------>message 'S'--------->finish_xact_command&&send_ready_for_query=true--->(PS状态为SELECT）ReadCommand------>message 'E'-------->exec_execute_message------->(PS状态为SELECT)ReadCommand-----> message 'B' ------> exec_bind_message----->(PS状态为BIND)
2023-04-19 14:55:37
882
原创 PostgreSQL主外键延迟测试
默认建立主外键会扫描已有的记录来确定是否有不符合条件的记录，这一过程hang住后续的update操作，因此如果表很大，会对业务产生比较大的影响。//需要superuser权限。实际上PostgreSQL实现主外键主要用的是trigger，只是trigger是PG内部实现的，如下。在某些特殊情况下需要先插入字表，但是关联字段的值并不存在与主表中该如何处理。可以使用not valid参数来避开对已有数据的验证。第二种情况，如果对已有数据的两张表要建立主外键关系。3. 插入不满足条件的记录。
2023-03-08 14:06:27
509
原创 PostgreSQL Always功能使用
有些弱gis项目，比如通讯行业，大部分都是采集的poi点，比如基站或者信令数据，录入数据的应用都是用的X，Y坐标，那如何再不改变应用的情况下，可以在一些GIS软件是展示这些数据，毕竟很多的GIS软件并不支持直接显示X，Y坐标。可以通过在表中添加一个类型为geometry的字段，然后利用PG的Generate Always功能自动更新该类型的值。使用GeoScene Desktop展示如下。
2023-03-02 13:52:44
477
1
原创 PostgreSQL(ERROR: cache lookup failed for function 1)错误解决
昨天接到同事求助，前端应用连接某个PostgreSQL 9.6.13库上后无法创建某个Type，远程发现是因为创建Type的时候需要创建c的存储过程，在创建c的存储过程中报错，导致无法创建该Type。错误如下： test=# CREATE OR REPLACE FUNCTION sde.st_geometry_release()test-# RETURNS texttest-#...
2021-01-15 16:42:30
2535
3
原创 libpq Copy In 数据测试过程
文本方式1. 创建测试表sde=# \d testTable “sde.test”Column | Type | Collation | Nullable | Default--------±--------±----------±---------±--------id | integer | | |info | text | | |2. 插入两条记录string sql = “COPY
2020-08-31 10:30:55
1279
原创 统计PostgreSQL缓存情况
可以通过以下步骤查询PostgreSQL数据的缓存情况。1. 创建pg_buffercache扩展。sde=# create extension pg_buffercache;CREATE EXTENSION2. 创建该extension后，后台会创建pg_buffercache视图用来记录缓存情况，其定义如下，实际上是简历在表函数上的一个视图sde=# \d+ pg_buf...
2019-10-28 14:52:20
2541
原创 PostgreSQL统计表以及的占用空间方法
PostgreSQL提供了以下几个方法查看表（索引）所占用空间大小：1. 自己查找pg_classsde=# select relpages*8/1024||'M' as 占用空间,reltuples 记录数 from pg_class where relname='gis_poi'; 占用空间 | 记录数----------+-------- 6M | 26199...
2019-08-09 14:32:19
5096
原创 ArcGIS Desktop+PostgreSQL(Row Level Security)分区域编辑
需求： 使用ArcGIS Desktop多个人同时编辑同一个图层，但是每个人只编辑属于自己的区域，别的区域没有权限编辑。可以使用PostgreSQL的Row Level Security实现。方法如下： 测试数据： 需要进行编辑的点图层，名字为sde.gis_poi。 参考区域图层：testpolygon,数据状态如下图...
2019-07-23 10:07:32
455
原创 PostgreSQL求中值问题
偶碰同事的一个需求，如下描述：数据库中怎么从一个设备轨迹中抽取三个点，起始点和中间点（根据时间字段）怎么取？每个设备的轨迹点个数不同。可以使用PostgreSQL的有续集进行处理，测试过程如下所示：录入测试数据：sde=# create table test(deviceid int,createtime timestamp, position st_geometry);CRE...
2019-07-18 11:27:50
659
原创 linux ssh登录效率问题处理案例
环境以及问题介绍： 部门一台linux测试服务器，每次用putty登录的时候，输入IP后，要等待10多秒后才会提示输入密码，这很不正常，本来不想处理，但是后续在测试postgresql hot standby的时候需要将归档放到备库上的某个目录中，在archive_command使用了如下命令：archive_command = 'scp %p 192.168.1...
2019-05-05 15:53:25
406
原创 PostgreSQL With语法例子
今天看到网上的例子，可以参考PostgreSQL聚合例子，如下：postgres=# create table test(id int, info text); CREATE TABLE postgres=# insert into test values (1,'test1'); INSERT 0 1 postgres=# insert into test values (...
2018-09-21 14:48:09
1355
原创 sqlplus所用动态库分析一例
今天有朋友问了在linux下sqlplus调用动态库问题。朋友问题： 我在linux安装oracle的客户端（管理）后，设置完PATH=$ORACLE_HOME/bin目录后，没有设置别的环境变量就可以执行sqllplus了，但是在同一个操作用户下别的调用OCI的程序执行的时候报找不到libclntsh.so的错误，这是为什么。分析： 自己写的调用的OCI...
2018-08-01 14:41:07
788
原创 课程表的某个SQL语句
最近帮助朋友写了一个于课程表相关的SQL语句，比较经典，简要过程如下：需求： 在PostgreSQL测试过程如下： sde=# select * from t1; id | name----------+------ 20180001 | 张三 20180002 | 李四 20180003 | 王五(3 行记录)sde=#...
2018-07-26 09:38:23
1229
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人