常用的postgresql函数

当使geometry报错时继承postgis

create extension postgis

将二进制的geometry格式的转换成  4326（经纬度）的格式

update test3 set geom = st_setsrid(geom,4326)

将wkt转成geometry

SELECT   ST_GeomFromText(wkt)  from gx_hc_ga_za_wgxx 

将划线的方向逆序

update table set geom = st_reverse(geom)

查看字段格式：（返回4326==84坐标系）

select st_srid(geometry) from test_shenz limit 4

创建空间索引

create index idx_test_shenz on test_shenz(geom) using gist 

创建一个表根据查询的结果（返回一个表）：

create table longgang_road as 
select a.* from test_longgang as b,test_shenz as a
where st_intersects(b.geom,a.geometry)（查询b包含a里的数据）

将geometry转换成wkt格式：

select st_astext(geometry) from longgang_road limit 3;

将geometry转换成4326坐标系的Geojon格式

select st_asgeojson(geom,4326) as wkt from rbeijing limit 3;

创建索引

create index idx_beijing_id on rbeijing(id)

--删除索引

drop index idx_beijing_id 

创建自增主键：

--删除普通id
ALTER TABLE data_monitor  DROP COLUMN id;
--增加自增id
alter table "data_monitor" add column "id" serial primary key;

添加字段（默认值获取当前时间now）

alter table "alert_info" add column "update_time" varchar COLLATE "default" DEFAULT now()

删除字段

alter table alert_info drop column if exists update_time;

主键改成 (CP_HM, GPS_SJ)这两个的联合主键：

ALTER TABLE  lh_gps_ls_2019_09

ADD CONSTRAINT pk_lh_gps_ls_2019_09 PRIMARY KEY(CP_HM, GPS_SJ)

新增数据时不新增与联合主键重复的数据：ON conflict (CP_HM, GPS_SJ) DO    NOTHING 

INSERT INTO lh_gps_ls_2019_09 (
  RFID_ID,
 CP_HM,
 WD,
 JD,
 SD,
 GPS_SJ,
 GPS_ZT,
 FX,
 update_time
)
VALUES
 (
   '4dbc0f5e-36a0-478e-9fe6-4bf4b5414c0b',
  '粤BS3869',
  '22.627614019424595',
  '114.04855342603457',
  '0.0',
  '2019-09-09 12:21:11',
  '0',
  '0',
  now()
 ) ON conflict (CP_HM, GPS_SJ) DO
  NOTHING 

delete数据时不释放内存造成查询过慢问题

--复制表结构
create table internet_personnel_like (like internet_personnel);
--复制表数据
INSERT INTO internet_personnel_like SELECT * FROM internet_personnel;
--删除旧表释放全部存储空间
DROP TABLE internet_personnel;
--将表名复原
ALTER table internet_personnel_like rename  to  internet_personnel;
--创建旧表就含有的联合索引
ALTER TABLE  internet_personnel  ADD CONSTRAINT pk_union_internet_personnel PRIMARY KEY(zjhm,swkssj,xwsj)";

数据库中将经纬度转成geometry

ALTER TABLE ajxx ADD geom geometry;   
update ajxx set geom=st_geomfromtext('Point('||dqjd||' '||dqwd||')',4326)

插入数据返回id

insert into point(pointtype,pointx,pointy,pointval)values(1,2,3,4) RETURNING id;

将查询的结果导成新表

CREATE TABLE films_recent AS
 SELECT * FROM films WHERE date_prod >= '2002-01-01';

关联表更新

update vehicle_manage set own_area_name=qu.id from qu where vehicle_manage.own_area=qu.qname

关联表插入

INSERT INTO car_group_manage_new  (name,own_area_name) SELECT cgroup_name,own_area_name  from vehicle_manage_new  GROUP BY  cgroup_name,own_area_name

将查询的数据放在创建新表中

create  table  test as        select substring(code,9,12) as code1    FROM  ga_copy

删除null数据

delete from 表名 where 字段名 is null;

根据id更新数据，存在更新不存在插入

INSERT INTO t_user (id,username,type,name)  VALUES  ('10','hahh','1','sddddd') ON conflict(id)  

DO  UPDATE  SET  username ='hahh_tst',type='2',name='sddddd_test'

模糊关联字符串表

with a1 as(
select string_to_array(lens_name, '_') as name_array from lens_manage 
)select distinct name_array[1] as cph from a1 where name_array[1] like '粤%';
select a.* from vehicle_manage a where license_plate in (select distinct name_array[1] from a1)

postgresql 字符串转整数 int、intege

字符串转数字
--把'1234'转成整数

select cast('1234' as integer ) ;
--长字符串
	CAST (qiyebianma AS int8);

--用substring截取字符串，从第8个字符开始截取2个字符：结果是12

select cast(substring('1234abc12',8,2) as integer)

---使用to_number函数来转换成整数

---to_number(text, text)  返回的类型 numeric     把字串转换成numeric   to_number('12,454.8-', '99G999D9S')

select to_number('12121','999999999')

数字转字符串

使用举例：
SELECT to_char(12345, '9999999999999999999')//结果‘              12345’，结果字符串前面有空格，位数跟格式化模式中9的位数有关；
SELECT to_char(12345, '99999')//结果‘12345’
SELECT to_char(12345, '9999')//结果‘####’，当模式串小于数字个数时，字符串会显示为#，位数跟格式化模式中9的位数有关；
SELECT to_char(12345, '')//结果‘’

切割数据

--用—将数据拆分  取第一个值		
SELECT   split_part("name",'_',1)   from video_test_2
--截取第一个开始8个字符的字段
 
SELECT   substring("name",1,8)   from video_test_2

字符串去除空格

字符前的空格，用ltrim(string) 
字符后的空格，用rtrim(string) 
字符中的空格，用replace(string, ' ', ' ')

例

update qx_users set `NAME`=rtrim(NAME)
update qx_users set `NAME`=ltrim(NAME)
update qx_users set NAME=replace(NAME,' ','')

 Postgresql数据的导入和导出，以及copy命令介绍

如何导du出PostgreSQL数据库中的数zhi据：
pg_dump -U postgres -f dump.sql mydatabase
具体某个表dao
pg_dump -U postgres -t mytable -f dump.sql mydatabase
导入数据时首先创建数据库再用psql导入：
createdb newdatabase
psql -d newdatabase -U postgres -f dump.sql
把数据按照自己所想的方式导出，强大的copy命令：
echo "copy students to? stdout DELIMITER '|'"|psql school|head
(students为表名，school为库名，各个字段以|分隔)
echo 'copy (select * from students order by age limit 10) to stdout;' | psql school

复制表结构和数据命令

--复制表结构和数据
select * into tablebackup from table;
--仅复制表结构
create table test_as as select * from user_test2 where 1=0;

将shp文件转成sql 直接入pg库

D:\Program Files\PostgreSQL9.6\bin>shp2pgsql -s 4326 -W "GBK" D:\FZ_PCS_PG_ALL.shp fz_pcs >  D:\fz_pcs.sql

异常解决

ERROR:  relation "public.kafka_swan_vehicle_id_seq" does not exist

对应解决

新建查询，执行 CREATE SEQUENCE IF NOT EXISTS XXXX_id_seq;

不等于语句

where id='1' and (name <> '123' or name is NULL)

添加更新时间字段（默认获取当前时间）

ALTER TABLE ajxx ADD COLUMN update_time varchar COLLATE "default" DEFAULT now();

表中含有自增主键导出sql文件  再导入另外一个数据库时自增主键报错问题解决

//有自增字段的表导出成sql文件之后，执行的时候，要在建表之前加上 digitalhub_country_gid_seq  代表主键
DROP SEQUENCE if EXISTS "public"."digitalhub_country_gid_seq"; 
CREATE SEQUENCE "public"."digitalhub_country_gid_seq"  
 INCREMENT 1  
MINVALUE 1  
MAXVALUE 9223372036854775807  
START 1  
CACHE 1;  
就是把之前的删掉了再建

判断两点之间的距离

select ST_Length(Geography(ST_GeomFromText('LINESTRING(116.47 39.89,116.47 39.95)')));

COALESCE函数 

 SELECT COALESCE(num, 0) as total

将csv文件导入库

copy rtic_data_00(area_id,map_version,time_stamp,mesh_id,number,layer,rtic_kind,rric_travel_time,los,section_count) from '/home/10_csv/00_10.csv' delimiter ',' csv;

替换字符语句

select  replace(jwd,',',' ') AS rep from contradiction_dispute_record

查询数据库大小排序

select datname, pg_size_pretty (pg_database_size(datname)) from pg_database  ORDER BY pg_database_size(datname) desc

自增id被占用问题

DETAIL:  Key (id)=(1) already exists.

--解决方法
select setval('tablename_id_seq', max(id)) from tablename;

delete数据后内存空间释放

mydb=# vacuum full tbl_kenyon ;
VACUUM
mydb=# select pg_size_pretty(pg_relation_size('tbl_kenyon'));
 pg_size_pretty
----------------
 1289 MB
(1 row)
mydb=# select count(*) from tbl_kenyon ;
  count
----------
 16000000
(1 row)


vacuum 与 vacuum all的区别：

vacuum 就是进行扫除，找到那些旧的“死”数据，把它们所知的行标记为可用状态。但是它不进行空间合并。

vacuum full，就是除了vacuum，还进行空间合并，因此它需要lock table。

而 autovacuum，可以理解为定时自动进行vacuum 。

对于有大量update的表，vacuum full是没有必要的，因为它的空间还会再次增长，所以vacuum就足够了。

坐标转换函数

-- 如果转换后结果为null，查看geom的srid是否为4326或者4490
WGS84转GCJ02
select geoc_wgs84togcj02(geom) from test_table
GCJ02转WGS84
select geoc_gcj02towgs84(geom) from test_table

WGS84转BD09
select geoc_wgs84tobd09(geom) from test_table
BD09转WGS84
select geoc_bd09towgs84(geom) from test_table

CGCS2000转GCJ02
select geoc_cgcs2000togcj02(geom) from test_table
GCJ02转CGCS2000
select geoc_gcj02tocgcs2000(geom) from test_table

CGCS2000转BD09
select geoc_cgcs2000tobd09(geom) from test_table
BD09转CGCS2000
select geoc_bd09tocgcs2000(geom) from test_table

GCJ02转BD09
select geoc_gcj02tobd09(geom) from test_table
BD09转GCJ02
select geoc_bd09togcj02(geom) from test_table

数据导入导出

--导入
psql -U postgres auth </var/lib/postgresql/data/authorization.sql

--导出
pg_dump  -p 5432 -U postgres auth >/home/auth.sql
 

查询数据库表大小

select pg_database_size('car_networking');
select pg_database.datname, pg_size_pretty (pg_database_size('car_networking')) AS size from pg_database; 


--按顺序查看索引

    select indexrelname, pg_size_pretty(pg_relation_size(relid)) from pg_stat_user_indexes where schemaname='public' order by pg_relation_size(relid) desc;


--按size大小排序列出所有表

SELECT 
table_schema || '.' || table_name 
AS table_full_name, pg_size_pretty(pg_total_relation_size('"' ||table_schema || '"."' || table_name || '"')) AS size
FROM 
information_schema.tables
ORDER BY
    pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')
DESC limit 20


---查询单个表大小

select pg_size_pretty(pg_relation_size('table_name'));

PGSQL-查看sql正在运行的进程、查看表是否被锁、解锁表

1.PGSQL-查看sql正在运行的进程

SELECT datname,pid,state,query FROM pg_stat_activity where state='active'

SELECT
    procpid,
    START,
    now() - START AS lap,
    current_query
FROM
    (
        SELECT
            backendid,
            pg_stat_get_backend_pid (S.backendid) AS procpid,
            pg_stat_get_backend_activity_start (S.backendid) AS START,
            pg_stat_get_backend_activity (S.backendid) AS current_query
        FROM
            (
                SELECT
                    pg_stat_get_backend_idset () AS backendid
            ) AS S
    ) AS S
WHERE
    current_query <> '<IDLE>'
ORDER BY
    lap DESC;

procpid：进程id
start：进程开始时间
lap：经过时间
current_query：执行中的sql
怎样停止正在执行的sql
SELECT pg_cancel_backend(进程id);
或者用系统函数
kill -9 进程id;

2.查看表是否被锁，解锁表

select oid from pg_class where relname='m_ss_kjcx_tech_inovate_talent' 
select pid from pg_locks where relation='4384913' 
--如果查询到了结果，表示该表被锁 则需要释放锁定 
select pg_cancel_backend(140650678843136)

通过命令： 
=# select pg_cancel_backend(线程id); 
来kill掉指定的SQL语句。（这个函数只能 kill Select 查询，而updae,delete DML不生效）
使用可以kill 各种DML(SELECT,UPDATE,DELETE,DROP)操作= 
=# select pg_terminate_backend(pid int)

-- PGSQL
select oid from pg_class where relname='m_ss_kjcx_tech_inovate_talent' 
select pid from pg_locks where relation='4384913' 
--如果查询到了结果，表示该表被锁 则需要释放锁定 
select pg_cancel_backend(140650678843136)
--- 来查看有哪些SQL正在执行。 waiting='t'

select pid,backend_start,application_name,query_start,waiting,state ,query from pg_stat_activity where query <>'' order by query_start asc

通过命令： 
=# select pg_cancel_backend(线程id); 
来kill掉指定的SQL语句。（这个函数只能 kill Select 查询，而updae,delete DML不生效）
使用可以kill 各种DML(SELECT,UPDATE,DELETE,DROP)操作= 
=# select pg_terminate_backend(pid int)

常用函数

PostGIS中的常用函数

以下内容包括比较多的尖括号，发布到blogger的时候会显示不正常，内容太多我也无暇一个个手动改代码，因此如有问题就去参考PostGIS官方文档。

首先需要说明一下，这里许多函数是以ST_[X]yyy形式命名的，事实上很多函数也可以通过xyyy的形式访问，在PostGIS的函数库中我们可以看到这两种函数定义完全一样。

1. OGC标准函数

管理函数：
添加几何字段 AddGeometryColumn(, , , , , )
删除几何字段 DropGeometryColumn(, , )
检查数据库几何字段并在geometry_columns中归档 Probe_Geometry_Columns()
给几何对象设置空间参考（在通过一个范围做空间查询时常用）ST_SetSRID(geometry, integer)

几何对象关系函数：
获取两个几何对象间的距离                                                                                        ST_Distance(geometry, geometry)
如果两个几何对象间距离在给定值范围内，则返回                                                    TRUEST_DWithin(geometry, geometry, float)
判断两个几何对象是否相等
（比如LINESTRING(0 0, 2 2)和LINESTRING(0 0, 1 1, 2 2)是相同的几何对象）      ST_Equals(geometry, geometry)
判断两个几何对象是否分离                                                                                         ST_Disjoint(geometry, geometry)
判断两个几何对象是否相交                                                                                         ST_Intersects(geometry, geometry)
判断两个几何对象的边缘是否接触                                                                              ST_Touches(geometry, geometry)
判断两个几何对象是否互相穿过                                                                                  ST_Crosses(geometry, geometry)
判断A是否被B包含                                                                                                       ST_Within(geometry A, geometry B)
判断两个几何对象是否是重叠                                                                                      ST_Overlaps(geometry, geometry)
判断A是否包含B                                                                                                          ST_Contains(geometry A, geometry B)
判断A是否覆盖 B                                                                                                         ST_Covers(geometry A, geometry B)
判断A是否被B所覆盖                                                                                                   ST_CoveredBy(geometry A, geometry B)
通过DE-9IM 矩阵判断两个几何对象的关系是否成立                                                   ST_Relate(geometry, geometry, intersectionPatternMatrix)
获得两个几何对象的关系（DE-9IM矩阵）                                                                   ST_Relate(geometry, geometry)

几何对象处理函数：
获取几何对象的中心                                                                                                      ST_Centroid(geometry)
面积量测                                                                                                                        ST_Area(geometry)
长度量测                                                                                                                        ST_Length(geometry)
返回曲面上的一个点                                                                                                      ST_PointOnSurface(geometry)
获取边界                                                                                                                        ST_Boundary(geometry)
获取缓冲后的几何对象                                                                                                   ST_Buffer(geometry, double,[integer])
获取多几何对象的外接对象                                                                                            ST_ConvexHull(geometry)
获取两个几何对象相交的部分                                                                                        ST_Intersection(geometry, geometry)
将经度小于0的值加360使所有经度值在0-360间                                                            ST_Shift_Longitude(geometry)
获取两个几何对象不相交的部分（A、B可互换）                                                          ST_SymDifference(geometry A,geometry B)
从A去除和B相交的部分后返回                                                                                      ST_Difference(geometry A, geometryB)
返回两个几何对象的合并结果                                                                                       ST_Union(geometry, geometry)
返回一系列几何对象的合并结果                                                                                    ST_Union(geometry set)
用较少的内存和较长的时间完成合并操作，结果和ST_Union相同 ST_MemUnion(geometry set)

几何对象存取函数：
获取几何对象的WKT描述 ST_AsText(geometry)
获取几何对象的WKB描述 ST_AsBinary(geometry)
获取几何对象的空间参考ID ST_SRID(geometry)
获取几何对象的维数 ST_Dimension(geometry)
获取几何对象的边界范围 ST_Envelope(geometry)
判断几何对象是否为空 ST_IsEmpty(geometry)
判断几何对象是否不包含特殊点（比如自相交）ST_IsSimple(geometry)
判断几何对象是否闭合 ST_IsClosed(geometry)
判断曲线是否闭合并且不包含特殊点 ST_IsRing(geometry)
获取多几何对象中的对象个数 ST_NumGeometries(geometry)
获取多几何对象中第N个对象 ST_GeometryN(geometry,int)
获取几何对象中的点个数 ST_NumPoints(geometry)
获取几何对象的第N个点 ST_PointN(geometry,integer)
获取多边形的外边缘 ST_ExteriorRing(geometry)
获取多边形内边界个数 ST_NumInteriorRings(geometry)
同上 ST_NumInteriorRing(geometry)
获取多边形的第N个内边界 ST_InteriorRingN(geometry,integer)
获取线的终点 ST_EndPoint(geometry)
获取线的起始点 ST_StartPoint(geometry)
获取几何对象的类型 GeometryType(geometry)
类似上，但是不检查M值，即POINTM对象会被判断为point ST_GeometryType(geometry)
获取点的X坐标 ST_X(geometry)
获取点的Y坐标 ST_Y(geometry)
获取点的Z坐标 ST_Z(geometry)
获取点的M值 ST_M(geometry)

几何对象构造函数：
参考语义：
Text：WKT
WKB：WKB
Geom:Geometry
M:Multi
Bd:BuildArea
Coll:Collection ST_GeomFromText(text,[])    将wkt转为geometry

ST_PointFromText(text,[])
ST_LineFromText(text,[])
ST_LinestringFromText(text,[])
ST_PolyFromText(text,[])
ST_PolygonFromText(text,[])
ST_MPointFromText(text,[])
ST_MLineFromText(text,[])
ST_MPolyFromText(text,[])
ST_GeomCollFromText(text,[])
ST_GeomFromWKB(bytea,[])
ST_GeometryFromWKB(bytea,[])
ST_PointFromWKB(bytea,[])
ST_LineFromWKB(bytea,[])
ST_LinestringFromWKB(bytea,[])
ST_PolyFromWKB(bytea,[])
ST_PolygonFromWKB(bytea,[])
ST_MPointFromWKB(bytea,[])
ST_MLineFromWKB(bytea,[])
ST_MPolyFromWKB(bytea,[])
ST_GeomCollFromWKB(bytea,[])
ST_BdPolyFromText(text WKT, integer SRID)
ST_BdMPolyFromText(text WKT, integer SRID)