互联网技术
文章平均质量分 65
db_murphy
杨磊,墨天轮社区MVP,DBASK技术专家、OCMU联盟成员;某央企研发部,职位数据架构师;一直在数据库领域坚持耕耘近10年,多年从事数据架构设计,具有一线部署实施经验。精通关系型数据库:Oracle、MySQL;对开源数据库、国产数据库、NoSQL、NewSQL、大数据、云计算、云原生等新技术有持续关注和极大兴趣。
展开
-
动手篇 | 如何在麒麟v10 SP2安装达梦8版本数据库
本文讲述如何在麒麟v10 SP2安装达梦8版本数据库。原创 2022-04-22 22:49:28 · 3114 阅读 · 0 评论 -
知识点 | SharePlex可实现Oracle异库间的数据同步
SharePlex是Quest公司开发的用于专门用于Oracle数据库的数据同步软件,可以运行在异构的操作系统平台上和Oracle数据库的不同版本之间。SharePlex的数据复制原理与GoldenGate类似,需要分别在源数据库服务器和目标数据库服务器上安装SharePlex软件。SharePlex for Oracle中由捕获进程来收集发生变化的数据,此进程分析redo log,将复制内容相关的数据改变捕获出来。SharePlex结合其自己的网络协议和TCP/IP协议来完成源和目标系统之间的数据传原创 2021-06-25 17:02:58 · 457 阅读 · 0 评论 -
知识点 | MySQL的运维神器之 Percona Toolkit 介绍
MySQL数据库是轻量级、开源数据库的佼佼者,其功能和管理,健壮性与Oracle相比还是有相当的差距。因此有很多功能强大第三方的衍生产品,如percona-toolkit,XtraBackup等等。Percona Toolkit简称pt工具—PT-Tools,是Percona公司开发用于管理MySQL的一组高级命令行工具的集合。可以查看当前服务的摘要信息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等。这个工具套件对MySQL DBA确实很香甜。功能包括检查主从复制的数据一致性、检查重复索引、定原创 2021-06-24 16:42:25 · 1193 阅读 · 0 评论 -
生产排查 | MySQL主从同步时报错1864之slave_pending_jobs_size_max设置生产排查
大家都知道,MySQL 的各参数很多,设置不恰当,会引起各种异常;本文根据一则实际生产异常场景,即从库的同步异常报错Last_Errno: 1864,来介绍slave_pending_jobs_size_max参数的调整。问题现象描述生产环境上从库出现SQL进程停止的异常,错误信息如下:mysql> show slave status \G;原创 2021-06-10 23:42:24 · 677 阅读 · 0 评论 -
知识分享 | 湖仓一体:备受瞩目的技术发展趋势
看到一篇讲述数据湖的文章,深有感受,故摘录其中一些内容如下:原文链接:https://www.modb.pro/db/67146摘文如下:1970年,在IBM工作的计算机科学家Edgar F. Codd发表了一篇名为“A Relational Model of Data for Large Shared Data Banks”的论文,该论文中正式提到关系数据模型,开启了关系型数据库难以撼动的黄金时代。Edgar F. Codd于1981年获得计算机界最高奖图灵奖,是第一位获得图灵奖的数据库学者。国原创 2021-05-28 22:18:56 · 523 阅读 · 0 评论 -
2021年5月国产数据库排行榜:“百舸争流”的各家国产数据库,你应该如何选?
2021年1月份写了一篇有关国产数据库的推文《2020年国产数据库“元年”,争做一只迎风起飞的“飞猪”》。转眼到了2021年的5月份,各家国产数据库在这半年“百舸争流”、你追我赶,取得了很多骄人成绩;所以,是时候该再聊一聊国产数据库那些事了。在今年年初写《2020年国产数据库“元年”,争做一只迎风起飞的“飞猪”》文章时,文中也提到,目前具有权威的国产数据库排名榜是由墨天轮社区发起,该社区数据库排行榜致力于为大家呈现最新的国产数据库排名、各家数据库产品的动态发展趋势和综合竞争力;两个目的:一是为了原创 2021-05-28 21:43:32 · 3790 阅读 · 0 评论 -
知识点 | 数据仓库中的 ods ,dw,dm分别是个啥?
先看一下数据中心的整体架构以及数据流向:DB 是现有的数据来源,可以为mysql、SQLserver、Oracle、Mongodb、PostgreSQL、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:Extract,数据抽取:把数据从数据源读出来。Transform,数据转换:把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下,Transform也包含数据清洗原创 2021-04-07 14:46:34 · 2223 阅读 · 0 评论 -
知识点 | 今天好好学习MPP和MapReduce分别是个嘛?!
来世界是数字化时代,而数据库是数据落地的强有力技术支持。因数据库的初心是:高效稳定的提供数据服务能力;数据库高效服务的体现点就是:高效的并行化处理能力。说起并行化,就不得不提MPP和MR(MapReduce)这两种并行处理架构和处理思维。此前,必须要先聊一下数据库架构三种设计架构:SHARE-EVERYTHING、SHARE-EVERYTING、SHANRE-NOTHING。SHARE-EVERYTHING:Shared Everthting:一般是针对单台服务器,完全透明共享CPU/ME原创 2021-04-03 19:53:11 · 1961 阅读 · 0 评论 -
CentOS将于2021年12月31日提前终止对CentOS Linux 8的支持
2020年至2021年交际时,红帽(RedHat)公司宣布,将把对CentOS的投资从CentOS Linux完全转移到CentOS Stream,预计于2021年12月31日提前终止对CentOS Linux 8的支持。目前,CentOS操作系统在金融机构中有广泛应用。...原创 2021-02-24 11:12:37 · 1657 阅读 · 0 评论 -
开源许可证是一种独立存在的法律许可
许可证合规性是金融机构引入、使用、治理开源软件面临的首要问题。同时,也需要保护金融机构自身的知识产权免遭传染性许可证侵害。开源许可证是一种独立存在的法律许可。目前,国际公认的开源许可证91种,主流使用的许可证也有9种(截至2020年12月19日,OSI),其中大多采用英文编写,只有木兰许可证采用中文编写。金融机构技术团队需要与具备熟悉许可证特性与要求的法律法规团队协同,在开源软件全生命周期内动态管理、定期扫描,发挥监控、评估等作用。...原创 2021-02-24 11:08:53 · 156 阅读 · 0 评论 -
Linux环境下任意数量的服务器之间如何配置互信脚本_sshUserSetup.sh
#!/bin/sh# Nitin Jerath - Aug 2005#Usage sshUserSetup.sh -user <user name> [ -hosts \"<space separated hostlist>\" | -hostfile <absolute path of cluster configuration file> ] [ -advanced ] [ -verify] [ -exverify ] [ -logfile <desir原创 2021-02-18 14:39:14 · 407 阅读 · 0 评论 -
技术篇 | Linux环境下如何设置静态ip之步骤
【摘要】本文备记Linux环境下如何设置静态ip的步骤。1. 查看当前Linux环境下ip地址和网卡信息[root@bkdb network-scripts]# ip a1: team0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000 link/ether 74:85:c4:b7:4d:71 brd ff:ff:ff:ff:ff:ff inet 192.168.0.2原创 2021-02-18 14:18:37 · 158 阅读 · 0 评论 -
知识点 | MySQL的IOT表和HEAP表有什么区别?
啥是IOT表?Index Organized table by itself is a B-tree index. Index key is the primary key and the rest of columns are index values.The rows are stored in the primary key order. IOT provides fast access to a specific row by primary ke or the prefix of primary原创 2021-02-17 23:47:08 · 356 阅读 · 0 评论 -
Java 开发人员学习路线进阶图
Java,作为静态面向对象编程语言的代表。许多人会认为 1995 年 5 月 23 日是 Java 诞生的日子,毕竟这个时间点是 Java 第一次在 SunWorld 会议上公开发布的日子。其实在这之前,1994 年,Java 1.0 的 Alpha 版本已经可以提供下载。并且,Java 真正意义上开始作为独立开发工具的重要里程碑,是 1996 年 1 月 23 日 Java 第一个开发工具包 JDK 1.0 ——即 Java 1.0 的问世。Java 在万维网端却得到了长足的发展,主流的网站后端仍在原创 2021-02-10 08:52:01 · 471 阅读 · 0 评论 -
知识点 | 分库分表情况下全局唯一主键的一种简单实现
【引言】大家知道,关系型数据库易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量 >1000W行或 >100G后,由于查询维度较多,即使添加从库读、优化索引,优化后性能仍下降严重。此时就要考虑对其进行切分了,目的就在于减少数据库的负担,缩短查询时间。在分库分表环境中,由于表中数据同时存在不同数据库中,单库主键值平时使用的自增长将不再适用,某分区数据库下自生成的ID无法保证全局唯一。因此需要单独设计全局主键,以避免跨库主键重复问题。常见的主键生成策略有:UUID、创建主键原创 2021-02-08 16:59:59 · 569 阅读 · 0 评论 -
区块链技术之全解析
【引言】昨天分享了《区块链上的数据库:CovenantSQL》点击链接,今天再来全面了解下区块链是咋回事。以下文章转自如下链接:https://zhuanlan.zhihu.com/p/43851267正文如下:一、什么是区块链?简而言之,区块链就是由许多包含信息的区块组成的链条。区块链技术通过给数字信息标记时间戳,使其无法回溯或篡改。区块链不需要银行或政府第三方机构的参与,用于金钱、产权、合同等的安全交易,当数据记录到区块链上后,几乎不可更改。区块链是一种软件协议(类似于email使用的S原创 2020-11-01 23:46:57 · 4195 阅读 · 1 评论