Database
关注
分享
扫一扫
文章平均质量分 58
Database
IOsetting
呵
展开
-
PostgreSQL 读取表主键和唯一键的SQL
定表名, 读取对应的约束字段(主键, 唯一键), 按MySQL的格式输出表结构描述原创 2024-08-11 09:55:17 · 581 阅读 · 0 评论 -
MySQL重置root口令
对应Ubuntu20.04, 路径是 /etc/mysql/mysql.conf.d/mysqld.cnf。在配置文件中修改 [mysqld] 的配置, 在下面增加。然后重启 mysql , 就可以不需要口令直接登录。原创 2024-08-11 09:53:50 · 425 阅读 · 0 评论 -
Centos 7 通过 targz 文件安装 Elastic Search 服务
区别于通过发行版自带的仓库, 介绍如何通过 targz 文件安装 Elastic Search 服务, 使用的 Linux 为 Centos 7原创 2023-06-08 18:22:30 · 1004 阅读 · 0 评论 -
ClickHouse笔记: Ubuntu/Centos下的安装, 配置和用户管理
ClickHouse 属于 OLAP 数据库, 与 OLTP (Transaction Process) 相比, 注重数据分析, 重点在查询的性能. 在业务系统中, 往往使用 OLTP 数据库做业务数据存储, 用 OLAP 数据库做查询分析, 在一些场景下ClickHouse可以取代ES(ElasticSearch)作为查询引擎原创 2023-05-15 22:06:53 · 1182 阅读 · 0 评论 -
PostgreSQL(02): PostgreSQL常用命令
满足验证条件的用户, 可以用`psql`命令进入pg的命令行交互模式原创 2023-01-06 17:06:34 · 1636 阅读 · 0 评论 -
Nebula Graph介绍和SpringBoot环境连接和查询
当前Nebula Graph的最新版本是3.2.1, Nebula Graph 的一些特点 1. 支持分布式. 相对于Neo4j, TigerGraph这些图数据库, Nebula 是面向分布式设计的, 因此对集群的支持比较完备, 在规模上上限要高很多. 在实际项目中存储了180亿的点边, 这个数量对于Neo4j和TigerGraph是比较困难的. 1. 支持图空间. 各个图空间的ID是互不干扰的, 但是在同一个图空间里ID的类型和长度必须一致. 注意这个一致约束的是所有的点和边. Nebula 可以使用原创 2022-10-12 12:11:57 · 2179 阅读 · 6 评论 -
Ubuntu20.04和22.04离线安装PostgreSQL14
今天安装 Postgresql14 遇到一个问题, 目标服务器只有内网, 内网提供标准的apt仓库, 但是因为不能连接外网, 所以没法添加第三方仓库, pg的官网只提供仓库和源码两种方式, 因此不能访问外网时, 貌似只有源码编译这条路. 因为源码编译费时费力并且安装阶段需要自行配置, 容易出错. 对于机器上只需要安装一个实例的场景, 能用仓库还是用仓库. 如果还有一台安装了同样发行版, 并且可以上网的机器, 可以通过这台机器将离线安装包下载下来, 再传到目标机器上安装.原创 2022-10-08 12:30:50 · 2861 阅读 · 2 评论 -
PostgreSQL的查询技巧: 零除, GENERATED STORED, COUNT DISTINCT, JOIN和数组LIKE
零除的处理 用NULLIF(col, 0)可以避免复杂的WHEN...CASE判断. 对已知表可以增加Generated字段, 这些字段只读, 自动计算赋值, 可以像普通字段一样参与查询, 不需要在查询中实时计算, 是一种典型的使用空间换时间的优化方式.......原创 2022-07-09 10:31:36 · 1311 阅读 · 0 评论 -
PostgreSQL 的窗口函数 OVER, WINDOW, PARTITION BY, RANGE
最近在数据处理中用到了窗函数, 把使用方法记录一下, 暂时只有分组排序和滑动时间窗口的例子, 以后再逐步添加. 在SQL查询时, 会遇到有两类需要分组统计的场景, 在之前的SQL语法中是不方便实现的. 使用窗函数直接SQL中使用窗函数就能解决这些问题, 否则需要使用临时表, 函数或存储过程进行处理. PostgreSQL 从2010年的版本8开始就支持窗函数了. 综合的说, 窗口函数就是在行的基础上, 允许对多行数据进行计算. 下面是一个简单的窗函数例子原创 2022-05-27 11:38:41 · 2072 阅读 · 0 评论 -
商业智能中的决策, 数据和数据处理方法
商业智能(BI)作为高价值服务, 自20世纪60年代计算机出现时就已经存在, 当时主要的用户是大型企业和政府部门, 经过半个世纪的发展, 商业智能已经成为中小企业的必备技能. 使用BI, 企业可以从实际数据中提取关键事实, 将其转化为决策的依据. 是否高效地使用商业智能和分析, 是现代环境中成功的关键. 本文说明了BI系统中决策的类型, 数据对决策的重要性, 数据的类型, 以及最重要的 -- 在BI系统中如何进行数据处理原创 2022-05-22 14:38:09 · 1108 阅读 · 0 评论 -
金融机构的反洗钱(AML)合规工作和系统建设
从国家机器的角度, 集体非法活动, 无论是金融还是非金融, 只要到了一定规模, 最终都会出现在洗钱的链条上. 出于对经济和政权稳定的共同利益, 国际间反洗钱的协作是一直存在的. 反洗钱是个比较大的话题, 这里只讨论针对中国人民银行管辖内的机构反洗钱合规工作和系统建设.原创 2022-05-10 08:56:59 · 2824 阅读 · 0 评论 -
数据类产品设计和实现思路
声明 个人原创, 转载需注明来源. 最近的项目需要接触大数据处理相关的产品, 涉及了ETL, 数据挖掘和统计, 数据可视化等功能, 因此了解了一下这个行业的产品和工具. 最近看的产品主要是 Quantexa CDI(contextual decision intelligence), SAS, OneTrust GRC. 结合对数据业务的理解分析一下这类产品的设计和技术实现. 业务场景拆分原创 2022-05-02 21:40:54 · 2532 阅读 · 0 评论 -
Neo4j数据和Cypher查询语法笔记
Cypher数据结构Cypher的数据结构: 属性类型, 复合类型和结构类型属性类型属性类型IntegerFloatString: 'Hello', "World"Boolean: true, false, TRUE, FALSE结构类型结构类型node: 表示一个节点, 由 id, label 和 map 构成id: 长整数, 全局唯一, node 与 relation 的 id 是共用的一个序列, 都是图当中的元素idlabel: 节点标签, 每个节点可以有多个标签ma原创 2022-05-02 12:21:09 · 2467 阅读 · 0 评论 -
SAS (Statistics Analysis System) 统计分析系统软件
SAS (Statistical Analysis System) 是一个统计软件系统,由 SAS Institute 开发, 用于数据管理、高级分析、多元分析、商业智能、刑事调查和预测分析. SAS 由北卡罗来纳州立大学在1966至1976年之间开发, 并于1976年成立了SAS软件研究所. 1980年代和1990年代得到进一步发展, 增加了新的统计程序和额外的组件并引入了JMP. 在2004年的版本9 中增加了点击式图形交互界面. 2010年增加了社交媒体分析产品原创 2022-04-30 17:04:04 · 11750 阅读 · 0 评论 -
Quantexa CDI(场景决策智能)Syneo平台介绍
Quantexa 服务特色是场景决策智能CDI(contextual decision intelligence)主要落地场景是金融以及涉及交易的各类机构的反洗钱反金融诈骗, 客户画像, 风控解决的问题是监管合规, 降低误判率, 提高准确率, 降成本, 提高行业竞争力面向的主要客户是银行, 保险, 支付机构, 运营商(CSP)和政府机构. 已知的客户汇丰银行, 渣打银行, 丹斯克银行(丹麦), 纽约&梅隆银行, OFX澳洲跨境支付机构原创 2022-04-23 18:03:48 · 894 阅读 · 0 评论 -
PostgreSQL 的字段类型和表操作笔记
PostgreSQL 的 Table 相关笔记字段类型 数值类型 Name Storage Size DescriptionRange smallint 2 bytes small-range integer -32768 to +32767 integer 4 bytestypical choice for integer -2147483648 to +2147483647 bigint 8 bytes large-range integer -92233720368547原创 2022-03-05 23:44:05 · 1262 阅读 · 0 评论 -
Ubuntu20.04 PostgreSQL 14 安装配置记录
Ubuntu20.04 PostgreSQL安装记录, 主配置文件说明, 基于主机的认证配置, 客户端认证由配置文件控制, 通常为名为 pg_hba.conf 的文件, 存储在集群的数据目录(HBA 代表 host-based authentication 的缩写). 当数据目录初始化时, 会生成一个默认的 pg_hba.conf 文件. 可以通过修改主配置文件, 将文件放到其他路径.原创 2022-02-15 21:02:04 · 3684 阅读 · 0 评论 -
Java架构系列问题合集-目录
分类说明关于Java项目研发和架构工作需要了解的问题, 目录, 链接入口原创 2022-01-29 17:22:12 · 1623 阅读 · 0 评论 -
MySQL8.0使用mysqlsh配置主从复制 InnoDB ReplicaSet
InnoDB ReplicaSetInnoDB ReplicaSet 由一个主节点和多个从节点构成. 可以使用ReplicaSet对象和AdminAPI操作管理复制集, 例如检查InnoDB复制集的状态, 并在发生故障时手动故障转移到新的主服务器.与InnoDB cluster类似, MySQL Router 支持针对InnoDB ReplicaSet 的引导, 这意味着可以自动配置MySQ...原创 2021-10-17 18:06:00 · 500 阅读 · 0 评论 -
Centos8 安装 MySQL8.0.26
下载访问 https://dev.mysql.com/downloads/mysql/选择 Red Hat Enterprise Linux / Oracle Linux选择 Red Hat Enterprise Linux 8 / Oracle Linux (x86, 64-bit)下载 RPM Bundle (mysql-8.0.26-1.el8.x86_64.rpm-bundle...原创 2021-10-17 22:37:00 · 606 阅读 · 0 评论 -
Centos8 安装 Redis6.0.16
下载,解压,编译,安装安装至 /opt/redis/redis-6.0.16 目录tar xvf redis-6.0.16.tar.gzgcc --versioncd redis-6.0.16/yum install tclmakemake testmake PREFIX=/opt/redis/redis-6.0.16 install配置文件cd /opt/redis/ln...原创 2021-10-17 22:48:00 · 237 阅读 · 0 评论 -
Centos7安装MySQL5.7和Redis6.0流水账
安装mysql使用rpm包安装yum remove mariadb-libs.x86_64yum install perlrpm -ivh mysql-community-common-5.7.31-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-5.7.31-1.el7.x86_64.rpm rpm -ivh mysql-communit...原创 2021-01-17 23:15:00 · 138 阅读 · 0 评论 -
MongoDB笔记: 分片集群
MongoDB分片集群由三个模块组成shard: 分片(或者分区)模块, 每个分片分别存储一部分数据, 从MongoDB 3.6开始, 分片必须是replica set(副本集)mongos: mongos是一个请求路由, 提供给客户端使用, 将请求分配到分片集群.config servers: 配置模块存储的是集群的配置信息和元数据, MongoDB 3.4之后配置模块也必须是repl...原创 2019-09-05 16:05:00 · 181 阅读 · 0 评论 -
MongoDB笔记: 安装和常见问题
安装在Centos7下以tgz形式安装.下载安装包现在最新的版本是4.2.2, 但是客户端Robot3T现在对4.2的支持不太好, 所以还是使用4.0版本, 下载的是最新的4.0.14:https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.14.tgz安装步骤# 解压tar zxvf mongodb-li...原创 2019-07-19 12:39:00 · 196 阅读 · 0 评论 -
MySQL导出TSV格式文件
可以使用mysqldump, 也可以使用mysql -e使用mysqldump因为要使用到 -T / --tab 参数, 需要先查看mysql设置的secure_file_privmysql> select @@secure_file_priv;+-----------------------+| @@secure_file_priv |+---------------...原创 2019-01-26 01:03:00 · 320 阅读 · 0 评论 -
在Ubuntu18.04下配置HBase
HBase在HDFS基础上提供了高可靠, 列存储, 可扩展的数据库系统.HBase仅能通过主键(row key)和主键的range来检索数据, 主要用来存储非结构化和半结构化的松散数据.与Hadoop一样, HBase依靠横向扩展, 通过不断增加廉价的普通服务器来增加计算和存储能力. 适合使用HBase的数据表特点为:数量巨大: 一个表可以存储数亿行, 数百万列列存储: 面向列的存储和...原创 2019-01-24 18:10:00 · 279 阅读 · 0 评论 -
在Ubuntu18.04下配置hadoop集群
服务器准备启动hadoop最小集群的典型配置是3台服务器, 一台作为Master, NameNode, 两台作为Slave, DataNode.操作系统使用的Ubuntu18.04 Server, 安装过程就省略了, 使用的是LVM文件系统, XFS文件格式, 为了避免浪费空间, 除了划分1G给/boot以外, 其他都划为/服务器规划192.168.1.148 vm148 -- 作为ma...原创 2019-01-18 23:28:00 · 213 阅读 · 0 评论 -
MySQL在INSERT IGNORE未新增记录时避免AUTO_INCREMENT自增
在MySQL5.7中做INSERT IGNORE时发现, 即使INSERT未成功执行, 表的自增主键却自动加1了, 在某些情况下需要避免这种行为. 需要修改的变量是innodb_autoinc_lock_mode, 将其设为0后, 在INSERT未成功执行时不会自增主键.innodb_autoinc_lock_mode在MySQL各版本的默认值根据MySQL官方手册的说明:There ...原创 2019-01-12 22:48:00 · 268 阅读 · 0 评论 -
Python3连接MySQL
Python连接MySQL的工具类目前主要有以下这些MySQLDBhttp://mysql-python.sourceforge.net/MySQLdb.html,https://github.com/farcepest/MySQLdb1,https://github.com/farcepest/moistPyMySQL/mysqlclient-pythonhttps://gith...原创 2018-12-24 20:21:00 · 82 阅读 · 0 评论 -
MongoDB 笔记
MongoDB数据类型Mongodb数据类型null {"x":null}Boolean {"x":true}, {"x":false}数据类型, 在Mongodb Shell中默认使用64位浮点型数据,如{"x":2.32}、{"x":2}，如果要使用整数类型则用{"x":NumberInt(2)}、{"x":NumberLong(2)}字符串, Mongodb中字符串采用UTF-...原创 2018-12-11 12:25:00 · 177 阅读 · 0 评论 -
MySQL5.7在JSON解析后丢失小数部分的Bug
在MySQL Bugs上提交了https://bugs.mysql.com/bug.php?id=84935. 已经在MySQL8.0.1中修复重现步骤-- Prepare the table and populate it with recordsCREATE TABLE `voucher` ( `id` varchar(32) NOT NULL COMMENT 'ID',...原创 2018-11-18 01:32:00 · 298 阅读 · 0 评论 -
Mongodb 笔记 - 性能及Java代码
性能以下数据都是在千兆网络下测试的结果写入数据量的增大会导致内存占满, 因为mongodb会将数据尽可能地载入内存, 索引占用的空间也很可观非安全模式下, 速度取决于内存是否占满能差一个数量级, 占满时大概1~2MB/s, 未占满时大于20MB/s安全模式下, 速度也取决于内存是否占满, 但是波动较小. 占满时为非安全模式的一半不到, 约1MB/s, 未占满时有7~8MB/s批量写入和单个...原创 2018-11-17 10:46:00 · 234 阅读 · 0 评论 -
mysql: SELECT ... FOR UPDATE 对SELECT语句的阻塞实验
开两个连接A, B, 分别执行以下三个sqlstart transaction; -- 1SELECT * FROM phpbb3.phpbb_ranks where rank_id=1 for update; -- 2commit; -- 3和start transaction; -- 1SELECT * FROM phpbb3.phpbb_ranks where rank_...原创 2018-06-22 13:44:00 · 598 阅读 · 0 评论 -
MySQL Replication主从复制环境下修改主库IP
因为调整服务器子网, 数据库服务器的IP地址需要修改. 这个过程中, 需要确保的就是从库在断开主库后, 能从正确的位置再次启动. 具体的操作步骤如下1) 需要获取的前提信息: 主库的新IP, 这在启动从库复制时需要使用2) 停止从库, 获取状态, [[[停止主库, 修改主库IP, 重启主库服务]]], 修改master信息, 启动从库mysql> STOP SLAVE;Query...原创 2018-02-26 21:55:00 · 111 阅读 · 0 评论 -
Ubuntu编译安装Redis Desktop Manager
Redis Desktop Manager for OSX&Ubuntu 的安装版是收费的, 如果自己编译则是免费的.Ubuntu16.04编译RDM 0.9安装过程参考官方提供的文档 http://docs.redisdesktop.com/en/latest/install/#build-from-source1. Git导出源码git clone --recursive...原创 2017-11-20 19:36:00 · 250 阅读 · 0 评论 -
MySQL Workbench常用快捷键
执行选中的SQL(如无选中则执行所有) Ctrl + Shift + Enter执行当前这句SQL (注意MySQL Workbench的编辑器会要求每一句SQL必须以;结尾, 否则会高亮提示错误) Ctrl + Enter注释掉选中SQL Ctrl + /格式化SQL Ctrl + B新开SQL编辑器 Ctrl + T查看执行解释 (explain current statement...原创 2017-11-17 13:09:00 · 3291 阅读 · 1 评论 -
Redis常用命令
连接$ redis-cli -a foobared -p 6179127.0.0.1:6179> dbsize(integer) 0选择不同的db127.0.0.1:6379> select 3OK127.0.0.1:6379[3]> dbsize(integer) 6清空db127.0.0.1:6379[3]> dbsize(intege...原创 2017-10-09 12:51:00 · 60 阅读 · 0 评论 -
MySQL的binlog操作
1. MySQL的binlog有三种模式: statement, row and mixed, 从5.1开始支持row, 默认是row模式2. 设置参数# 要配置在mysqld下[mysqld]binlog_format=ROW设置binlog过期清理时间 expire_logs_days# Should be uniqueserver-id = 1log-bin = m...原创 2017-05-08 15:20:00 · 61 阅读 · 0 评论 -
MySQL的主从配置和集群配置
主从配置1. 主库的配置文件my.cnf需要增加以下配置# Should be unique server-id = 1 log-bin = master-bin # Default=0 -- The number of days for automatic binary log file removal expire_logs_days = 14 # Default=1...原创 2017-03-23 16:40:00 · 85 阅读 · 0 评论 -
MySQL中分组取第一条, 以及删除多余的重复记录
检查重复记录-- 检查重复code1select count(identity) num, identity from event_log where code='code1' group by identity having count(identity) > 1order by num desc删除重复记录DELETE FROM event_log WHERE `c...原创 2017-01-28 13:33:00 · 137 阅读 · 0 评论