- 博客(94)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 【ClickHouse系列】如何解决 Too Many Parts 问题
例如，如果一个partition有 299 个active的part，parts_to_throw_insert = 300，parts_to_delay_insert = 150，max_delay_to_insert = 1，INSERT会延迟pow( 1 * 1000, (1 + 299 - 150) / (300 - 150) ) = 1000毫秒。/// parts_to_throw_insert默认300，单partition中的part超过该值会报错。默认值：0（无限制）
2024-07-10 13:04:44
600
原创 Clickhouse设置多磁盘存储策略
hot/cold策略配置hot和cold两个磁盘组, part未超过(max_data_part_size_bytes[选填项] * move_factor[选填项, 默认0.1])则储存在hot磁盘组，超过则储存在cold磁盘组；jbod策略只需要配置一个磁盘组，part(如202107_0_0_0)储存轮询每个disk；clickhouse安装完成以后，配置了一个默认的存储空间， 这个只能配置一个目录，如果要使用多个磁盘目录，则需要配置磁盘组策略。-- 自定义磁盘组名称 -->磁盘策略可以配置多个。
2024-06-18 15:28:13
259
原创 ClickHouse安装与下载22.3.2.2
5.Clickhouse快是因为采用了并行处理机制，即使一个查询，也会用服务器一半的CPU去执行，所以ClickHouse不能支持高并发的使用场景，默认单查询使用CPU核数为服务器核数的一半，安装时会自动识别服务器核数，可以通过配置文件修改该参数。4.尽量做1000条以上批量的写入，避免逐行insert或小批量的insert，update，delete操作，因为ClickHouse底层会不断的做异步的数据合并，会影响查询性能，这个在做实时数据写入的时候要尽量避开；可以说， 表引擎决定了如何存储表的数据。
2024-06-17 09:09:25
713
原创 MOUNT windows到本机
/192.168.10.68/home 为Windows主机IP和共享文件夹名称，共享文件夹名称即最开始让记住的文件夹名称。username="Administrator" 为Windows用户的用户名。/home/windows/windowsHome 为Linux主机挂载目录。uid=0,gid=0 为刚才通过（id root）命令查到的挂载用户信息。password="123456789" 为Windows用户的密码。
2024-04-28 10:04:00
231
原创 dataguard环境破坏后采用rman备份集重新部署
前提条件:dataguard之前已经搭建好,从库的spfile和密码文件不需要创建,主库的数据文件目录在从库必须存在，这里的场景是主库的数据文件目录和从库的数据文件目录需要保持一致.等日志应用同步完成后退出日志应用，然后打开数据库,否则打开数据库的时候也会先应用日志,等日志应用追上来了后才能打开数据库。先查出原来从库的数据库的数据文件路径,等下我们要删除这些文件。日志组序号从4开始,大小跟redo log保持一致。7.从库注册主库拷贝过来的备份集。注意这里控制文件不需要删除。或是采用dbca进行删除。
2024-04-20 15:35:30
323
原创 利用rman备份创建standby备库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。使用rman来创建standby，过程相当简单，主库无需停机。本次试验演示了利用Rman热备，然后restore来创建备库的过程。原文链接：https://blog.csdn.net/IIOOHHHSSSS/article/details/121511077。3.备库安装数据库软件-配置参数文件-配置网络-生成password file。4.主库rman备份控制文件，备份数据库，日志文件。
2024-04-20 15:14:29
852
原创 RMAN oracle 11g
备份，是一种最廉价，但是最有效的保护数据安全的一种方式， 不用您去采购备份一体机或者存储镜像等昂贵的设备，只需要您预留一部分空间，执行rman定时备份或者数据泵备份，再通过ftp定时传输到异地的一台闲置的服务器上，可以保证您至少有一份数据在，如果归档日志也在的话，可以实现数据零丢失。--如果你的空间只能存放一份备份，比如空间只有50G，备份有30G，只够存放一份备份，那么可以在备份之前删除所有备份，然后执行备份。--可以结合expdp使用做备份，可以实现更小粒度的备份。如有疑问，也欢迎一起讨论！
2024-04-17 14:25:06
856
原创 CLICKHOUSE升级-不删除数据
一、版本升级 1. 上传新版rpm安装包 2. 停止原先clickhouse服务 3. 备份配置文件 4. 查看安装列表 5. 依次卸载组件 6. 安装新版本 7. 恢复配置文件 7. 按需求修改配置文件 8. 启动服务 注意下载新版本，执行升级命令： rpm -Uvh *.rpm...
2022-05-16 11:01:38
352
1
原创 CLICKHOUSE 的时间函数
本月第一天SELECT toStartOfMonth(toDate('2022-05-10'))加一天addDays(toDate('2022-05-10'),1)yyyymmdd 转yyyy-mm-dd 20220501 转2022-05-10toDate(parseDateTimeBestEffort('20220510'))本年第一天toStartOfYear(date('2022-05-10'))
2022-05-11 16:05:42
1670
原创 clickhouse安装过程
-- rpm包地址https://packagecloud.io/Altinity/clickhouse在我们安装的软件中包含这些包:clickhouse-client包，包含 clickhouse-client 应用程序，它是交互式ClickHouse控制台客户端。 clickhouse-common包，包含一个ClickHouse可执行文件。 clickhouse-server包，包含要作为服务端运行的ClickHouse配置文件。总共包含四个RPM包， ...
2022-04-08 11:12:16
4065
原创 2021-10-16Oracle 账户开启存储过程调试权限命令
给Oracle 账户开启存储过程调试权限命令2012-06-14 17:04Spring.Guo 阅读(4713) 评论(0)编辑收藏举报在sys账户下执行GRANT debug any procedure, debug connect session TO 账户名;或者grant debug connect session TO 账户名;...
2021-10-16 14:40:56
803
原创 oracle显示IP
1、在数据库管理时，偶尔会需要查看数据库的IP地址selectsys_context('userenv','ip_address')fromdual2、有的时候需要查看对所有登录进数据库的用户，但是在V$SESSION视图不能很清楚的知道所有的会话是哪个地址连接进来的可以做如下操作 创建一个触发器，更新V$SESSION的client_info字段 createorreplacetriggeron_logon_triggerafterlogonondatabas...
2021-04-23 17:16:43
161
原创 ORACLE 全表扫描和索引扫描次数
========ORACLE索引的扫描次数select d.object_name, d.operation, d.options, count(1) from dba_hist_sql_plan d, dba_hist_sqlstat h where d.object_owner <> 'SYS' and d.operation like '%INDEX%' and d.sql_id = h.sql_id group by d.object_name, d.operation, d.opt.
2020-10-23 14:36:42
405
原创 oracle空间占用大小
=========空间占用大小============ 0、查看用户表、索引、分区表占用空间 select segment_name, sum(bytes)/1024/1024 Mbytes from user_segments where segment_type in ('TABLE','TABLE PARTITION') group by segment_name order by Mbytes desc ; 1、表占用空间 select segment_...
2020-08-03 11:07:50
338
原创 查ORACLE主库表空间用了多少
CREATE OR REPLACE FORCE VIEW V_MAX_TABLESPACE( MAX_USED_RATE, TABLESPACE_NAME)AS SELECT ROUND (used_percent, 0) AS max_used_rate, tablespace_name FROM (SELECT used_percent, tablespace_name FROM dba_tablespace_usage_metrics -- ...
2020-08-03 11:02:58
153
原创 oracle 锁
CREATE OR REPLACE FORCE VIEW V_LOCK( SESSION_ID, SERIAL#, LOCKED_MODE, ORACLE_USERNAME, OS_USER_NAME, MACHINE, TERMINAL, OBJECT_NAME, LOGON_TIME, SQL_ID, SQL_HASH_VALUE)AS SELECT l.session_id, e.serial#, ...
2020-07-20 15:34:30
97
原创 TOMCAT9清理日志脚本
set SrcDir="D:\Program Files\Tomcat 9.0\logs"set DaysAgo=5forfiles /p %SrcDir% /s /m *.log /d -%DaysAgo% /c "cmd /c del /f /q /a @path"forfiles /p %SrcDir% /s /m *.txt /d -%DaysAgo% /c "cmd /c del /f /q /a @path"rem == 外层的日志forfiles /p "D:\Program F
2020-07-20 15:07:17
230
原创 /var空间满了，简单处理一下
/var空间满了，简单处理一下之前装openSUSE玩的时候，/var只给了1G的空间，用了1年多以后，突然提示说/var空间满了，然后接着系统卡死，最后彻底没辙，重启试试，没想到提示什么系统错误，请联系管理员之类的提示语，也进不去登陆界面啥的了。只好找了另外一台电脑，通过SSH连接访问这台电脑，还可以正常连上，于是连上后，用root账号访问，进入/var，查了一下/var的文件空间分布情况：linux-Shalon:/var # du -sh *173M adm500...
2020-07-20 10:19:49
3592
原创 SQL_SERVER 解锁
查看被锁表：select spIdfrom master..SysProcesseswhere db_Name(dbID) = '数据库名称'and spId <> @@SpIdand dbID <> 0解除锁：exec ('Kill '+cast(@spid as varchar))查看被锁表select request_session_id spid,OBJECT_NAME(resource_associated_entity_id) tabl
2020-07-15 17:20:28
199
原创 查数据库（ORACLE/POSTGRES/MYSQL）占用空间大的表
-- oracle select segment_name, sum(bytes)/1024/1024 Mbytes from user_segments where segment_type in ('TABLE','TABLE PARTITION') group by segment_name order by Mbytes desc ;
2020-06-24 10:08:47
246
原创 oracle开启归档以及归档空间满的处理方法
一、 查看是否开启归档模式[oracle@db ~]$ sqlplus / as sysdbaSQL*Plus: Release 11.2.0.3.0 Production on Wed Oct 17 07:24:38 2018Copyright (c) 1982, 2011, Oracle. All rights reserved.Connected to:Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 6..
2020-06-12 17:00:05
2155
原创 记一次ORA-01122/ORA-01110/ORA-01200错误
SQL> startupORACLE instance started.Total System Global Area 213909504 bytesFixed Size 1266656 bytesVariable Size 159386656 bytesDatabase Buffers 50331648 bytesRedo Buffers 2924544 bytesDatabase mounted.ORA-01122: database file 7 failed verifica
2020-06-12 13:27:05
483
原创 LINUX测试硬盘的读写速度
测试硬盘的读写速度#dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file#dd if=/root/1Gb.file bs=64k | dd of=/dev/null
2020-06-11 09:01:47
355
原创 Centos7 cache/buff过高处理
Centos7 cache/buff过高处理方法当linux运行久点，会产生很多不必要的cache或者buff,导致占用太多的内存，其实这可以手动去释放它。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 [root@DD-Server-9F ~]# free total...
2020-06-10 20:10:35
904
原创 ORACLE 11G重建控制文件
重建控制文件--alter database backup controlfile to traceOracle提供两种方式备份控制文件:1.生成可以重建控制文件的脚本2.备份二进制的控制文件我们看一下如何获得可以重建控制文件的脚本.Oracle提供如下命令:alter database backup controlfile to trace;实际操作:[oracle@standby tools]$ sqlplus "/ as sysdba"SQL> alter databa.
2020-06-10 17:06:21
612
原创 Oracle中的控制文件
Oracle中的控制文件(control file)本文主要介绍Oracle中控制文件，目录如下：1. 控制文件存放了哪些信息？2. 控制文件的存放位置是什么？3. Oracle什么时候读取控制文件？4. 控制文件这么重要，能不能增加一个以防万一？1. 控制文件存放了哪些信息？数据库的名称、数据文件的名称和位置、联机重做日志的名称和位置、当前联机重做日志的序列号、检查点、RMAN备份文件的名称和位置例如，查看数据库的信息：SQL> select name, open_mode
2020-06-10 11:18:39
261
原创 ORACLE修改数据库字符集
修改数据库字符集数据库字符集在创建后原则上不能更改。因此，在前期规划和安装之初考虑使用哪一种字符集十分重要。对数据库服务器而言，错误的修改字符集将会导致很多不可测的后果，可能会严重影响数据库的正常运行，所以在修改之前一定要确认两种字符集是否存在子集和超集的关系。一般来说，除非万不得已，我们不建议修改ORACLE数据库SERVER端的字符集。有两种方法修改数据库字符集设置1. 通常需要导出数据库数据，重建数据库，然后再导入数据库数据的方式来转换。2. 通过ALTER DATABASE CHAR
2020-06-09 17:28:01
1276
原创 阿里云服务器静默安装Oracle 11.2.0.4.0 -64bit
阿里云服务器静默安装Oracle 11.2.0.4.0 -64bit操作系统版本[root@loneboo software]# cat /etc/redhat-releaseCentOS Linux release 7.4.1708 (Core)上传文件[root@loneboo software]# lltotal 2487208-rwxr-xr-x 1 root root 1395582860 Sep 29 14:22 p13390677_112040_Linux...
2020-06-08 09:25:12
582
原创 ORA-01122/ORA-01110/ORA-01200错误
SQL> startupORACLE instance started.Total System Global Area 213909504 bytesFixed Size 1266656 bytesVariable Size 159386656 bytesDatabase Buffers 50331648 bytesRedo Buffers 2924544 bytesDatabase mounted.ORA-01122: database file 7 failed verifica
2020-06-08 08:57:47
483
原创 导出报ora-31634、ora-31664
oracle手动执行导出报ora-31634、ora-31664在服务器上通过计划任务部署了oracle的备份任务，最近发现有个表空间没有备份成功，手动执行后，发现报一下错误，百度搜索结果如下ORA-31634: job already exists（JOB已经存在）ORA-31664: unable to construct unique job name when defaulted（采用默认方式，不能创建唯一JOB名）解决方法:第一步：查询生成清理DBA_DATAPUMP_JO.
2020-06-06 13:58:27
1141
原创 ora12541+tns-01153未能处理字符串
ora12541+tns-01153未能处理字符串“后继续查看listener的log文件$ORACLE_HOME/network/trace 发现listener.log 文件已经达到4G 无法再继续写入，最后写入日期也在前两天，于是删除该log文件，启动监听，正常～！！最终原因发现是log文件写满，看来以后要定期清理这个文件了。这么小一个问题都使应用系统无法连接上，细节决定成败。 此类文件要见一个记录一个 同时在同类系统中排查。”展开操作系统： windows2008数据...
2020-05-25 10:50:31
601
原创 辅助表空间的对象清理
oracle11.2.0.4辅助表空间的对象清理：查询对象占用空间的多少SELECT occupant_name "Item",space_usage_kbytes / 1048576 "Space Used (GB)",schema_name "Schema",move_procedure "Move Procedure"FROM v$sysaux_occupantsORDER BY 1;最后发现A...
2020-05-14 17:00:55
992
1
C# 读取 XML压缩文件内的数据并写入ORACLE数据库
2016-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人