数据库
文章平均质量分 77
sunny05296
这个作者很懒,什么都没留下…
展开
-
Java访问Hive的几种JDBC URL格式
zookeeper quorum:是 hive-site.xml 配置文件中 Zookeeper 的 Quorum 节点列表,以三节点为例格式为:zk_host01:zk_port,zk_host02:zk_port,zk_host03:zk_port。4)hive2 server HA(zookeeper)方式访问(带Kerberos认证) JDBC URL。2)hive2 server HA(zookeeper)方式访问 JDBC URL。1)hive2 server 单点访问 JDBC URL。原创 2024-08-05 20:59:55 · 646 阅读 · 0 评论 -
hadoop 常用命令
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后,重启 datanode 服务,问题就解决了。-- load后会在配置文件决定的固定目录下产生一个表名对应的目录,目录下为对应的数据文件。原创 2024-03-26 07:05:44 · 863 阅读 · 0 评论 -
MySQL geometry 类型数据测试
MySQL的geometry类型的表的创建和测试:原创 2023-11-09 13:49:52 · 251 阅读 · 0 评论 -
SQL实现根据时间戳和增量标记IDU获取最新记录和脱IDU标记
- 先查询一下根据时间戳字段和id进行处理,对id去重(同一个id的多条重复记录,只取时间戳最新的一条记录)-- 带IDU标记idu字段,但去掉了id重复的记录、只保留时间戳字段最新的一条记录,即 id 唯一。-- 带IDU标记idu字段和时间戳字段ctimestamp,id字段可能存在重复的值的记录。-- 脱IDU和时间戳以后的最终目的表(不带增量标记和时间戳字段)-- 根据id和时间戳查询最新记录、并只显示idu='IU'的结果。-- 根据id和时间戳查询最新记录、并只显示idu='D'的结果。原创 2023-10-31 20:28:26 · 539 阅读 · 0 评论 -
GBase8a SSL 配置
openssl x509 -sha1 -req -in server-req.pem -days 3650 -CA ca-cert.pem -CAkey ca-key.pem -set_serial 01 -out server-cert.pem # 服务器证书。[no]: yes。[no]: yes。// 仅打印 Ssl_cipher, Ssl_cipher_list, Ssl_verify_depth, Ssl_verify_mode, Ssl_version。原创 2023-10-26 21:30:10 · 859 阅读 · 0 评论 -
GBase8a 连接工具 gccli 独立安装
gccli 连接工具也可以独立安装在单独的虚机上使用(非 GBase8a 集群节点上安装),但系统必须是 GBase8a MPP Cluster 支持的系统。会释放 gccli_install 目录,包含两个文件 gccli_install.sh、gccli_standalone.tar.bz2。step2:创建 gccli 安装的目标目录,拷贝 gccli_install 目录下的所有文件到 gccli 安装的目标目录下。step3:在安装的目标目录下执行安装脚本。原创 2023-10-26 10:34:23 · 841 阅读 · 0 评论 -
GBase 8a 负载均衡策略及JDBC连接方式
整个集群是由若干个 VC 组成,所有的 VC 由同一套 GCluster Cluster(集群的分布式调度集群)和 GCware Cluster(集群的分布式管理集群,一致性)管理, 共享统一的入口。VC:Virtual Cluster,虚拟集群,是对 Data Cluster(集群的分布式数据存储计算集群)节点的划分, 每个 VC 拥有固定数量的 Data Cluster 节点。要高可靠的话,必须配置该参数为 true。4,用户有多个VC的访问权限时,可以在多个VC间进行数据交换,甚至跨VC查询数据。原创 2023-10-17 20:31:26 · 921 阅读 · 0 评论 -
Centos7安装GBase8a V9.5
连接集群时,如果当前IP(比如jdbc的最前面的IP)无法连接,则自动从 hostlist 里面挨个尝试连接,直到连接成功返回,或者均不可用报错退出。注意:dbaPwd配置指定gbase OS用户密码,rootPwd指定root OS用户密码,这里指定的是安装时需要用到的OS用户的密码,而不是数据库用户密码,数据库用户密码时安装完成以后会自动生成默认密码,然后再自行修改。注意:在同一应用程序中(JVM), 如果有多个不同用途的URL,则gclusterId必须唯一,否则会导致访问了不属于本服务负责的集群。原创 2023-10-16 18:35:45 · 1017 阅读 · 0 评论 -
MySQL性能优化之buffer pool配置优化
设置值大于1时,需要保证:innodb_buffer_pool_size / innodb_buffer_pool_instances > 1GB。2)如果修改了 innodb_buffer_pool_chunk_size 值将会导致 innodb_buffer_pool_size 的值改变。原创 2023-10-12 12:53:43 · 340 阅读 · 0 评论 -
MySQL 数据库查询缓存query_cache_type
MySQL 数据库的查询缓存功能打开以后,当执行完全相同的 SQL 语句的时候,服务器就会直接从缓存中读取结果,当数据被修改则之前的缓存会失效,修改比较频繁的表不太适合做查询缓存。query_cache_limit : 允许使用 MySQL 查询缓存的单条 Query 结果集占用内存的最大值,默认是 1MB,超出此大小的 SQL 语句结果集则不放入缓存。Qcache_not_cached:非缓存查询的数量(由于 query_cache_type 设置而无法缓存或未缓存的查询的数量)-- 不缓存查询结果。原创 2023-10-08 17:41:32 · 1364 阅读 · 0 评论 -
GBase 8a常用命令
取值范围:2 ~ gbase_parallel_max_thread_in_pool,小于2则表示不启用并行,最大取值范围不超过线程池的线程数。gbase_parallel_max_thread_in_pool :express后台线城池的总线程数,0~4096,默认为系统CPU核数,通常不应设置超过cpu核数的2倍。gbase_parallel_execution :并行控制参数,bool变量,缺省值为0(关闭并行)。INSERT_CLUSE 插入操作的字段列表和values值列表部分。原创 2023-09-27 12:05:53 · 1591 阅读 · 0 评论 -
Oracle数据字典
不是所有对象都有DATA_OBJECT_ID,例如:sequence,type 这些对象并没有存储空间,所以并不存在段与之相关联。所以这些对象的 DATA_OBJECT_ID 都为空。它描述了存储在每个数据库中的所有用户可见对象,包括类型、表、索引、存储过程、视图和序列等。数据库对象的:名称、所属架构名称、类型、最后一次对对象进行DML操作的时间戳、状态、注释Comments、Storage表。OBJECT_ID就是对象的数据字典标识,而DATA_OBJECT_ID则是包含对象的段的数据字典标识。原创 2023-05-24 11:39:54 · 1083 阅读 · 0 评论 -
KingbaseESV8.6变化数据捕捉(CDC)
KingbaseESV8.6变化数据捕捉(CDC)原创 2023-04-06 20:24:13 · 1451 阅读 · 4 评论 -
Centos7安装KingbaseES V8R6
注意:设置 * hard nofile xxx 时,xxx 值不能大于cat /proc/sys/fs/nr_open 的值(可以通过 /ect/sysct.conf 修改 fs.nr_open 值,sysctl -p生效), 否则注销后将无法正常登陆,值设置为 unlimited 则表示无限制。一般建议设置为内存的50%。# 设置时根据自己的实际内存大小进行计算和设置,例如:page 大小 4096,8G 内存的 80% 设置为:8*1024*1024*1024/4096*80%=1677721。原创 2023-04-04 18:56:32 · 1471 阅读 · 1 评论 -
Informix常用命令
数据库内部用户是指使用 create user 命令创建的用户,通过映射配置,新建的数据内部用户可以映射至操作系统用户。Informix 从 11.7 版本开始增加的非系统用户访问数据库的机制,从而让数据库支持两种用户访问方式,数据库内部用户和操作系统用户,解决了之前版本 Informix 用户必须是操作系统账户的问题。包括系统的和非系统的用户信息都会存储在内。且如果被映射的用户为授权用户,则非系统用户也被允许执行授权用户操作。OFF: 只允许操作系统的用户访问数据库,不允许非系统用户访问数据库。原创 2023-03-30 11:46:04 · 1866 阅读 · 0 评论 -
PostgreSQL 常见配置参数及相关命令
从上面的流程可以看出,checkpoint 操作已经能保证将 redo point 位点之前的数据落盘了,那 redo point 之前的所有 WAL 日志都已经没有用了(即使下次故障,这部分数据已经被持久化落盘了,也不需要恢复),就可以请理了。checkpoint是WAL(write-ahead log)日志中的一个位点,在这个点位之前数据库中的所有数据都和WAL日志中反映的信息相同,也就是说该位点之前所有 Shared Buffer 中的脏页均已被刷入到存储磁盘。原创 2023-02-14 20:27:40 · 6215 阅读 · 0 评论 -
MySQL 的 datetime等日期和时间处理SQL函数及格式化显示
MySQL 的 datetime等日期和时间处理SQL函数及格式化显示。DATE_FORMAT,DATE,DATE_ADD, DATE_SUB, NOW, CURRENT_TIMESTAMP, DATEDIFF原创 2023-02-14 13:28:25 · 7262 阅读 · 0 评论 -
PostgreSQL 变化数据捕捉(CDC)
函数:pg_logical_slot_get_changes(slot_name name, upto_lsn pg_lsn, upto_nchanges int, VARIADIC options text[])原创 2023-02-09 21:12:45 · 4442 阅读 · 0 评论 -
PostgreSQL pg_hba.conf 配置
host all all 127.0.0.1/32 ident username //这里username表示某个没有建立映射的用户,不写默认可以用postgres用户登录,postgres用户安装的时候自动创建postgres用户,postgres相当于是数据库的管理员账号。用户映射文件为pg_ident.conf,这个文件记录着与操作系统用户匹配的数据库用户,如果某操作系统用户在本文件中没有映射用户,则默认的映射数据库用户与操作系统用户同名。reject :联接无条件拒绝。原创 2023-01-30 19:11:19 · 4205 阅读 · 0 评论 -
MySQL配置调优
MySQL配置调优,修改MySQL配置文件my.ini,max_connections ,innodb_buffer_pool_size,max_binlog_size原创 2022-11-19 09:31:16 · 739 阅读 · 0 评论 -
informix常用命令:
oninit –i 初始化数据库,不要对正常的数据库使用以下命令,仅当第一次初始化数据库时使用 oninit 将系统从 off-line 模式变为 on-line 模式。数据库不正常宕掉时,数据库中会留有临时表,这些表会占磁盘空间,一般重起数据库时,数据库会自动删除临时表,我们也可以使用该命令保留这些临时表。oninit -s 将系统从 off-line 模式变为 quiescent 模式、启动到单用户模式,即同操作系统的单用户一样,维护时切换到但用户模式可以不受其它想连上数据库的用户的干扰。原创 2022-09-20 09:28:09 · 1683 阅读 · 0 评论 -
Centos7安装SinoDB(Informix)
关于 informix 默认允许访问的用户,Informix数据库支持两种用户访问方式,数据库内部用户和操作系统用户。数据库内部用户是指使用create user命令创建的用户,通过映射配置,新建用户可以映射至操作系统用户。最初没有设置hostname,无法远程连接端口(nc 192.168.1.38 33721) ,后来设置了,这里不太确定是否必须设置hostname,没有再尝试了。Enter #安装前再次提示确认安装路径是否正确、是否开始安装,确认继续,开始安装,大约需要1~2分钟。原创 2022-09-20 01:51:39 · 1479 阅读 · 0 评论 -
Oracle&DM Redo在线日志&Archive归档日志分析
- 第一个添加的日志需指定 options=>dbms_logmnr.new,如果确定要查询的信息在指定的那一个REDO日志文件内,可以只添加那个REDO日志文件,而不需要再添加其他的日志文件。其中startscn指定日志分析的起始scn值,endscn指定日志分析的结束scn值,starttime指定日志分析的起始时间,endtime指定日志分析的结束时间,-- 分析归档日志的操作和分析REDO的操作基本一样,最重要的就是准确的找到需要查找的信息在哪些归档日志内。原创 2022-09-13 20:22:36 · 1758 阅读 · 0 评论 -
Centos7 TiDB 数据库安装部署
Centos7 TiDB 数据库安装部署。直接 tiup cluster start tidb-cluster 启动即可。安装完毕,界面会提示首次启动时执行启动命令:tiup cluster start tidb-cluster --init。官方要求的资源比较高,我准备了 8Core20G200G 的一个虚机(1个IP),准备集群安装在同一个节点上。我把所有集群节点都安装在同一个虚机上(8Core20G,IP配置同一个),安装过程比较快,大概不到1分钟。...原创 2022-08-30 20:19:18 · 1460 阅读 · 0 评论 -
达梦(DM)常用命令
2)达梦数据库数据表变化以后,需要手动执行 dbms_stats.GATHER_TABLE_STATS 后再查询 USER_TABLES 视图,数据量(NUM_ROWS)才会刷新。对象权限:是指针对具体用户对象的DML 数据操作权限,包括表或视图及其列的 SELECT、INSERT、DELETE、UPDATE、REFERENCES 和 DUMP 权限,序列的查询权限,函数、包、类、存储过程的EXECUTE权限,以及这些权限的转授权限()。-- 搜集统计信息,针对 schema=DAMENG 下的所有的表。原创 2022-08-19 11:50:36 · 10407 阅读 · 1 评论 -
Oracle RAC镜像恢复的单实例数据库Redo日志增量抽取报错: ORA-01291 & 删除日志组报错: ORA-01567
今天碰到一个Oracle单实例数据库,是Oracle12cRAC环境(2节点)克隆出来的一套单实例数据库,在进行Redo日志增量抽取时遇到报错ORA-01291missinglogfile。确定了THREAD=2(logfilegroup4和logfilegroup5)的日志组可以删除(从OracleRAC镜像过来的节点,节点2已结不在了)这是OracleRedo的机制,每个节点不能少于2个日志组,如果少于2个日志无法切换了。......原创 2022-07-18 00:31:45 · 2917 阅读 · 0 评论 -
SUSE12安装SAP HANA 2.0内存数据库
1,环境准备1)OS软件包:SUSE Linux Enterprise Server for SAP Applications 12SP5:SLE-12-SP5-SAP-DVD-x86_64-GM-DVD1.iso2)SAP HANA 2.0软件包:SAP HANA 2.0 express edition如果直接下载Virtual Machine(包含OS和SAP HANA数据库)的虚拟机镜像文件.voa,那么就没有必要单独下载OS和SAP HANA软件包了3)资源准备:4Core/8G/100G(官方建议原创 2022-07-01 20:02:14 · 3022 阅读 · 1 评论 -
GIS-国内常见的地理坐标系
GIS-国内常见的地理坐标系WGS84(EPSG:4326) : 目前最流行的地理坐标系统,美国GPS就是使用的这个。Pseudo-Mercator(EPSG:3857) : 投影坐标系。伪墨卡托投影,也称为球体墨卡托,Web Mercator。它是基于墨卡托投影的,把 WGS84 投影到正方形。各大互联网地图公司以它为准。伪墨卡托非常适合显示数据、但不适合存储数据。一般用 WGS84 存储数据、用伪墨卡托显示数据。CGCS2000(4490) : 国家大地坐标系。天地图采用的就是这个。可以提供高精度三维坐原创 2022-06-14 18:44:38 · 5731 阅读 · 1 评论 -
GIS WKB/EWKB 结构
GIS WKB/EWKB 结构GeometryType:ST_Point: 支持二位和多维,point | point z | point m | point zm。m值一般代表度量值,z值一般代表z-coordinate,zm则一般代表同时存储z-coordinate和m度量值.ST_LineString: 同样支持二位和多维,linestring | linestring z | linestring m | linestring zmST_Polygon: 同样支持二位和多维,polygon |原创 2022-06-13 16:28:54 · 1337 阅读 · 0 评论 -
PostgreSQL 执行查询语句报错 ERROR: relation “table_xxx“ does not exist
PostgreSQL 执行查询语句报错 ERROR: relation "table_xxx" does not exist原创 2022-06-06 20:40:55 · 11623 阅读 · 0 评论 -
PostgreSQL shapefile 导入导出
1.pgsql2shp & shp2pgsql 命令行工具方式导入导出 shapefile2.QGIS工具导入导出 shapefile3.OGC/EPSG/SRS/CRS 等相关概念原创 2022-06-06 20:36:51 · 2871 阅读 · 0 评论 -
Oracle processes和sessions参数(进程连接数&会话连接数)
Oracle processes和sessions参数(进程连接数&会话连接数)如果配置过小,连接时可能会报错:ORA-12519, TNS:no appropriate service handler foundOracle官方建议 sessions = process * 1.1 + 5查看process和session:show parameter process;show parameter session;查看数据库进程的连接数配置:show parameter p原创 2022-04-14 20:32:44 · 4748 阅读 · 0 评论 -
MQTT(mosquitto)基础配置
Mosquitto服务的配置文件为 /etc/mosquitto/mosquitto.conf关于用户认证方式 & 读写配置都在配置文件中通过相关参数配置指定,主要参数如下:allow_anonymous 是否允许匿名访问,默认允许匿名访问password_file 密码文件(/etc/mosquitto/pwdfile)acl_file 访问控制列表(/etc/mosquitto/aclfile)三者的组合配置关系如下allow_anonymous ...原创 2022-04-01 14:28:41 · 3956 阅读 · 0 评论 -
PostgreSQL新建用户登录报错:FATAL: Peer authentication failed for user “test“
背景:PostgreSQL 新建数据库用户后切换用户报错、重新指定新用户登录也报错,但postgres用户登录没有问题。postgres用户登录数据库# su - postgres-bash-4.2$ psql -U postgres -d postgres创建数据库用户test & 创建数据库testdb01 & 授权postgres=# CREATE USER test WITH PASSWORD '1q2w3e';postgres=# CREATE DATABA..原创 2022-03-16 10:27:32 · 2977 阅读 · 0 评论 -
PostGIS 空间数据(geometry)管理常用命令
PostGIS 空间管理常用命令> 添加空间字段语法:select AddGeometryColumn(varchar table_name, varchar column_name, integer srid, varchar type, integer dimension, booleanuse_typmod=true);select AddGeometryColumn(varchar schema_name, varchar table_name, varchar column_nam原创 2022-03-02 20:28:20 · 6453 阅读 · 0 评论 -
MySQL 常见错误处理
MySQL 常见错误处理1. ERROR 2013 (HY000): Lost connection to MySQL server during query连接超时,增大连接超时配置 connect_timeout 设置为1分钟(60秒),如果不配置默认为10秒vi my.conf[mysqld]connect_timeout = 60重启生效> show global variables like '%timeout%';2. InnoDB: Index "index_xx原创 2022-01-10 20:44:21 · 1491 阅读 · 0 评论 -
Centos7上的PostgreSQL开启SSL配置
Centos7上的PostgreSQL开启SSL配置Centos7 PostgreSQL 开启SSL配置PostgreSQL支持使用SSL连接加密Client和Server之间的通信,以提高安全性。要求在Client和Server两端上都安装OpenSSL、并配置启用PostgreSQL中的SSL的支持。环境信息:Centos 7.8 + PostgreSQL 12.91. 安装OpenSSLCentos7默认已安装了OpenSSL、无需单独安装,如果没有安装则使用yum install原创 2021-12-07 01:07:00 · 3849 阅读 · 1 评论 -
PostgreSQL HA集群高可用方案介绍 & pgpool-II+PostgreSQL HA方案部署
PostgreSQL HA集群高可用方案介绍 & pgpool-II+PostgreSQL HA方案部署一、PostgreSQL HA集群高可用方案介绍二、pgpool-II+PostgreSQL HA方案部署三、pgpool-II常用命令一、PostgreSQL HA集群高可用方案介绍介绍PostgreSQL的集群高可用方案前,先了解一下几个概念单主复制单一主复制意味着仅允许在单个节点上修改数据,并将这些修改复制到一个或多个节点。只能在主节点上进行数据更新和插入。在这种情况原创 2021-11-05 20:52:32 · 18602 阅读 · 0 评论 -
Centos7部署PostgreSQL 12集群(主备)
Centos7部署PostgreSQL 12集群(主备)关于备份模式常规的备份模式有三种:热备、冷备和双活。热备:仅主节点承担用户的业务、提供数据库服务,在不关闭数据库服务(不停服)的情况下对主节点进行备份。 为了保证数据库服务的正常不间断运行,一般用两台机器作为数据库服务机器。其中一台用于实际数据库操作应用、提供数据库服务,而另外一台则实时从前者中获取数据以保持数据的一致性。 如果当前的主节点故障宕机,当前的备节点机器立马(人为手动触发或由配置自动触发)取代当前的主节点机器继续提...原创 2021-10-27 19:40:08 · 8014 阅读 · 2 评论 -
mysql mysqldump 命令备份数据
mysql mysqldump 命令备份数据数据备份常用命令mysqldump -A -uroot -p > xxx.sql # 备份所有db。-A 参数等同于 --all-databasesmysqldump --all-databases -uroot -p > xxx.sql # 备份所有dbmysqldump -t testdb -u root -p > xxx.sql #只导出数据...原创 2021-10-20 19:27:31 · 1446 阅读 · 0 评论