005-数据库
文章平均质量分 51
数据库
大数据_苡~
大数据领域 | 数据仓库建设 | 数据模型设计 | 实时计算 | 数据开发 | 数据中台 | 数据治理
展开
-
京东 ClickHouse 高可用实践
转载于京东 ClickHouse 高可用实践 – 过往记忆 分享嘉宾:李海波,京东OLAP机构师导读:京东OLAP采取ClickHouse为主Doris为辅的策略,有3000台服务器,每天亿次查询万亿条数据写入,广泛服务于各个应用场景,经过历次大促考验,提供了稳定的服务。本文介绍了ClickHouse在京东的高可用实践,包括选型过程、集群部署、高可用架构、问题和规划。一、应用场景和选型京东数据分析的场景非常多,在交易、流量、大屏、用户分析和算法等多场景中采用到了OLAP技术。那么在应...转载 2021-10-19 09:42:39 · 541 阅读 · 0 评论 -
简单剖析OLAP异域猛兽——ClickHouse设计思路
ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。异域是因为它来自俄罗斯,Yandex 公司,这家公司是俄罗斯本土搜索引擎企业,原本是为了分析自家的 Web 流量而开发的一款产品 ,后来经过演变,逐渐形成为现在的 ClickHouse,全称是:Click Stream,Data WareHouseClickHouse 官网它具有 ROLAP、在线实时查询、完整的 DBMS 功能支持、列式存储、不需要任何数据预处理、支持批量更新、拥有非常完善的 SQ...原创 2021-10-19 16:19:32 · 372 阅读 · 0 评论 -
postgresql: set REPLICA IDENTITY using ALTER TABLE
postgresql删除表数据或者更新表数据报错,副本标识设置原创 2022-09-15 16:59:40 · 2331 阅读 · 0 评论 -
SQL-Server查看数据库执行过的历史代码
SQL-Server查看数据库执行过的历史代码有时间我们在SQL-Server客户端上写SQL,写了一大段,突然外界的因素把客户端关闭了,代码没有保存也就不见了,抓狂~ 那么如何找到SQL-Server数据库执行过的历史代码记录呢?直接上代码,改一下时间即可执行。SELECT TOP 1000 T1.creation_time ,SUBSTRING(T2.text, (T1.statement_start_offset / 2) + 1, (.原创 2021-04-28 12:01:30 · 5865 阅读 · 3 评论 -
MySql创建临时表报错 Statement violates GTID consistency
MySql 在创建临时表时候报错 :Statement violates GTID consistency一、问题重现drop table if exists temp_01;create table temp_01 as select id,name,createtime from user_info二、原因我的MySQL版本用的是5.7,GTID指的是全局事务ID(global transaction identifier)原来新建的MySQL数据库是MyISAM模式,该模原创 2021-04-02 16:09:09 · 9454 阅读 · 1 评论 -
SQL-SERVER的STUFF函数——group by 分组,字符串合并
SQL SERVER 分组group by之后,字符串合并在一起,逗号隔开。原本数据:效果:代码:-use DB01;-- 建表create table dbo.tb_user_product(id int null,name varchar(10) null,product varchar(100) null ,amount decimal(9,2) null); -- 插入数据insert into dbo.tb_user_product values ('原创 2020-10-14 16:53:46 · 9510 阅读 · 4 评论 -
SQL SERVER 把逗号隔开的字符串拆分成行
现有数据,比如爱好hobby,有多个爱好用逗号隔开放在一起存储,现在需要把他们分开最终结果直接上脚本use DB01;-- 建表create table dbo.tb_hobby(id int null,name varchar(10) null,hobby varchar(100) null );-- 插入数据insert into dbo.tb_hobby values ('1001','朱梅拉','跑步,踢足球,打篮球');insert into dbo.tb原创 2020-09-30 18:56:15 · 8536 阅读 · 0 评论 -
SQL 新旧两张表数据对比是否一致
有新旧两张表结构一样的表,需要对比一下两张表的数据是否一致。1、首先对比一下数据量select count(1)from table_new;select count(1)from table_old;2、新表except旧表,得出的数据再left join 旧表# 新表table_new 与旧表table_old 对比, 插入临时表#diff_newselect id ,aa ,bb ,cc ,dd from table_new原创 2020-08-28 11:02:15 · 17756 阅读 · 0 评论 -
SQL-SERVER The transaction log for database tempdb‘is full due to ACTIVE_TRANSACTION
SQL Server 执行一张大表的存储过程,报错:The transaction log for database tempdb'is full due to ACTIVE_TRANSACTION由于活动事务太长,数据库tempdb'的事务日志已满-- 查看Disk的Free Spaceexec sys.xp_fixeddrives-- 查看数据库空间的使用情况exec sys.sp_spaceused需要收缩数据库或者执行USE tempdbGODBCC原创 2020-07-07 10:00:41 · 1914 阅读 · 0 评论 -
drop database正确姿势
你以为 drop database就可以跑路了吗?USE masterGOdrop database BI_ABC;报错:无法删除数据库 "XXXX",因为该数据库当前正在使用正确姿势:USE MASTER GO DECLARE @dbname SYSNAME SET @dbname = 'BI_ABC' --BI_ABC是要删除的数据库库名 DECLARE @s NVARCHAR(1000) DECLARE tb CURSOR L..原创 2020-06-09 16:18:42 · 2920 阅读 · 0 评论 -
MSBI常见问题总结
SSIS 1、对连接管理器“DC”的AcquireConnection方法调用失败,错误代码0xC0209303。可能在此之前已经发出错误消息,提供了有关AcquireConnection方法调用失败原因的详细信息…? 解决办法:右键“解决方案管理器”,点击“属性”,在调试选项中将Run64BitRuntime的值改成False。 2、出现LOE DB源,无法从OLE DB访问接口检索列代码页信息。如果该组件支持“DefaultCodePage”属性,将使用来自该属性的代码页。...转载 2020-05-27 10:39:37 · 595 阅读 · 0 评论 -
查看SQL-SERVER数据库及各个表的数据量及占用空间大小
1、查看某个数据库,直接执行存储过程sp_spaceused即可exec sp_spaceused;2、查看某个表,在存储过程后面加上表名即可EXEC sp_spaceused 'T_XXXXX';3、查看该数据库中的所有表,可以写一个存储过程,然后执行即可存储过程如下: SET ANSI_NULLS ONGOSET QUOTED_IDENTIFI...原创 2020-05-07 17:11:37 · 15829 阅读 · 2 评论 -
一文解决MySQL大部分问题
下面这两个方面能够解决MySQL80%的问题SQL级别1、明确select列表的列select * from t;优化:明确你想要查询的列select id,name from t;2、空间换时间:建立索引,走索引,避免全表扫描select id ,name from t where name is null -- 空值不能利用索引,所以还是全表扫描select...原创 2020-04-21 11:03:20 · 386 阅读 · 0 评论 -
SQL——truncate 、delete与drop区别
1、truncate和不带where子句的delete、以及drop都会删除表内的数据。2、drop、truncate都是DDL语句(数据定义语言),执行后会自动提交。 不同点:1、 truncate 和 delete 只删除数据不删除表的结构(定义)drop 语句将删除表的结构被依赖的约束(constrain)、触发器(trigger)、索引(in...转载 2019-09-16 10:59:30 · 244 阅读 · 0 评论 -
MySql 远程登陆 指定IP
1、使用root用户登陆MySqlmysql -u root -p password2、授权GRANT ALL PRIVILEGES ON *.* TO root@"194.13.12.111"IDENTIFIED BY"password"WITH GRANT OPTION;3、重载授权表:FLUSH PRIVILEGES;4、退出MySQL数据库:exit...原创 2019-08-30 18:53:27 · 2000 阅读 · 0 评论