- 博客(23)
- 资源 (28)
- 收藏
- 关注
原创 正则表达式实战
本文都是基于Linux 支持的正则来实战。关于正则的流派见这里。一、提取字符串需要的部分有时候总有一些需求,需要提取一行中需要的部分,例如需要提取博客链接中的数字。regExp]# echo https://www.cnblogs.com/luoahong/p/11577600.html | sed 's/.*p\/\([0-9]*\).*/\1/g'11577600注意:1、s表示替换,\1表示用第一个括号里面的内容替换整个字符串,(可以看作是一个子组)sed支持*,不支持?、+,
2020-07-31 16:58:50 552 1
原创 正则有哪些常见的流派及其特性?
在不了解Liunx 正则流派的前提下在linux环境学习正则非常痛苦。首先看自己的linux 版本支持的流派.使用man grep 即可查询的到........................................................... Matcher Selection -E, --extended-regexp Interpret PATTERN as an extended regular expression (
2020-07-31 16:22:00 535
转载 文件存储和删除的底层过程
本文转载自:https://www.cnblogs.com/f-ck-need-u/p/8659301.html。仅限于学习交流,侵权必删。当a.txt文件要存储到/tmp下时:(1).首先从inode table中找一个空闲的inode号分配给a.txt,例如2222。再将inode map(imap)中2222这个inode号标记为已使用。 (2).在/tmp的data block中添加一条a.txt文件的记录。该记录中包括一个指向inode号的指针,例如"0x2222"。 (3..
2020-07-30 18:23:28 899
原创 删除大量文件和目录时报错:Argument list too long
这个目录下的文件数量我惊呆了。40W+ 的文件目录数量,直接报错了。ansible]# ls tmp/|wc -l406278.ansible]# time rm -rf ./tmp/*-bash: /bin/rm: Argument list too longreal 0m7.728suser 0m4.686ssys 0m0.408s如何解决呢?通过传参的方式解决 ..ansible]# time find /home/.ansible/ -name "a*" | xar
2020-07-30 18:08:05 718
转载 Linux对内存的管理, 以及page fault的概念
原文地址:http://blog.scoutapp.com/articles/2015/04/10/understanding-page-faults-and-memory-swap-in-outs-when-should-you-worry学习后的总结:Linux allocates memory to processes by dividing the physical memory into pages, and then mapping those physical pages to t
2020-07-28 22:19:23 490
原创 Linux 内网发送邮件
有些问题需要第一时间发邮件报警出来,否则漏掉之后比较麻烦。需求: GP外部表有一个location 选项,这个选项是一个ip地址后面跟一个文件名,这个文件和外部表一 一对应。现需要监控外部表的location 是否为外部文件所放的IP地址。发监控邮件用mail命令即可,不需要使用sendmail命令.解决:1、添加邮件服务器域名解析到/etc/hosts/maildrop]# echo "邮件服务器ip地址 smtp.域名.com" >>/etc/hosts2、修改/e
2020-07-28 16:23:39 2661
转载 Linux Postfix
1. 电子邮件系统基础在日常工作和生活中,发送和收取电子邮件已成为人们相互沟通的常见方式。对于国内的许多用户来说,大多会注册使用新浪、网易、Hotmail、Gmail等Web界面的电子邮箱,这些邮箱都是IT服务商提供的免费邮箱服务,在邮箱空间,功能等方面会有所限制。现在更多的企业和机构要求员工使用公司自有的电子邮件系统,通过客户端软件直接与邮件服务器进行通信,以获得更好的通信效率,以及安全、功能方面的保障。1.1 邮件系统角色、邮件协议Internet网络中的电子邮件系统并不是一个孤立.
2020-07-28 16:18:25 1391 1
转载 Linux /proc/meminfo 详解
目录MemTotalMemFreeMemAvailableBuffers / CachedSwapCachedActiveInactiveActive(anon) / Inactive(anon) / Active(file) / Inactive(file)UnevictableMlockedSwapTotalSwapFreeDirtyWritebackAnonPagesMappedShmemSlabSReclaimableS
2020-07-23 13:52:09 2112
原创 Linux 清空缓存命令
某些时候需要把linux 的缓存清理一下。使用时需要区分参数的不同0:不做任何处理,由系统自己管理 1清空pagecache 2清空dentries和inodes 3清空pagecache、dentries和inodesTo free pagecache:# echo 1 > /proc/sys/vm/drop_cachesTo free dentries and inodes:# echo 2 > /proc/sys/vm/drop_cachesTo free pa.
2020-07-23 13:50:02 3601
原创 Redis redis-benchmark 压测结果
redis-benchmark benchmark]# redis-benchmark -h 127.0.0.1 -p 6382 -c 500 -n 200000 -nTotal number of requests (default 100000)-c 500个并发连接,其他参数请通过redis-benchmark --help以下是测试执行的结果====== PING_INLINE ====== 200000 requests completed in 2....
2020-07-22 17:49:33 361
转载 数据库开发规约
目录Redis 开发规范一、键值设计1. key名设计2. value设计3.【推荐】:控制key的生命周期,redis不是垃圾桶。二、命令使用1.【推荐】 O(N)命令关注N的数量2.【推荐】:禁用命令3.【推荐】合理使用select4.【推荐】使用批量操作提高效率5.【建议】Redis事务功能较弱,不建议过多使用6.【建议】Redis集群版本在使用Lua上有特殊要求:7.【建议】必要情况下使用monitor命令时,要注意不要长时间使用。...
2020-07-18 14:19:21 431
转载 PostgreSQL 中生成随机汉字
目录背景汉字unicode编码范围例子1例子2输出所有汉字输出随机汉字参考作者digoal背景汉字unicode编码范围php中utf-8编码下用正则表达式匹配汉字的最终正确表达式 —— /[\x{4e00}-\x{9fa5}]/u \u4e00-\u9fa5 (中文) \x3130-\x318F (韩文) \xAC00-\xD7A3 (韩文) \u0800-\u4e00 (日文) 4e00 对应 199689fa5 .
2020-07-15 17:19:04 1486
原创 GreenPlum debug SQL
qmstst=# create table a (id int); NOTICE: Table doesn't have 'DISTRIBUTED BY' clause -- Using column named 'id' as the Greenplum Database data distribution key for this table.HINT: The 'DISTRIBUTED BY' clause determines the distribution of data. Make .
2020-07-15 16:08:46 457
原创 Java 批量创建MQ
public void createMQ(String queueName) { try (Connection connection = connectionFactory.newConnection()) { //获取一个链接 //从连接中获取一个通道 Channel channel = connection.createChannel(); channel.exchangeDecl...
2020-07-15 09:36:43 360
原创 RabbitMQ队列中unacked消息持续时间很久
今天在使用RTM系统debug测试时,发现程序起来之后unacked就会一直持续。经过查阅资料如果队列中ready状态的消息数比较多,可以认为是消费者的处理能力不足 如若处理过程中出现异常,而没有回复ack 应答。通过后台就会看到有 unacked 的数据。 程序断开于rabbitmq的链接后 unacked的消息状态会重新变为ready 等待消费。事实上,RTM是一个多线程嵌套多线程的程序,其逻辑大致是这样展开,峰值估计每次都能提交上千个task。通过top -Hp PID查看开了多
2020-07-14 19:38:28 7796
原创 IDEA 多线程debug
在debug多线程的时候,断点总会跳的莫名其妙,因为你不知道到底是哪个thread 在running?接下来简单介绍一下在IDEA中使用多线程debug的功能选择希望进入多线程的断点勾选thread,或者在断点处右击选择在thradpool中选择一个thread,F9一步一步跳到该thrad的断点处。...
2020-07-14 13:58:38 402
原创 Rabbmit channel.QueueDeclare参数初识
接触MQ易经有一段时间了,对QueueDeclare一直没有一个全面的认识。channel.QueueDeclare(name, durable, autoDelete, exclusive, args)在debug程序时可以看到这几个参数?分别代表什么意思呢?ame:队列名字 durable:是否持久化, 队列的声明默认是存放到内存中的,如果rabbitmq重启会丢失,如果想重启之后还存在就要使队列持久化,保存到Erlang自带的Mnesia数据库中,当rabbitmq重..
2020-07-14 11:12:11 371
原创 GP information_schema 使用心得
information_schema 里包含了大量的视图,实现了类似mysql中 information_schema 比较易读的数据库元数据管理的功能。业务中使用过的有:1、获取某表的所有列以及其位置"SELECT column_name,data_type from INFORMATION_SCHEMA.COLUMNS where table_name = '" + tableName + "' order by ordinal_position2、获取某个数据库中所有schema中的
2020-07-14 09:53:59 528
转载 GreenPlum安装指南
一、二、GreenPlum的机器选型每个raid组的条带大小256KB三、3.1 系统准备之OS3.2 最小硬件要求3.3 存储3.4 容量估算24*1.23.5 操作系统内核调优3.6 时钟设置3.7 系统资源限制3.8 磁盘I/O及其他参数3.9 创建用户注意GID 和UIDGP 软件安装(建立互信和目录)GP软件安装(检查性能)GP 数据库初...
2020-07-09 22:01:15 472
转载 四笔钱
https://mp.weixin.qq.com/s?__biz=MzIxOTYxNTY4MQ==&mid=2247492014&idx=1&sn=7a6b69d6263296af0b2dbf5ffd29d57e&scene=21#wechat_redirect
2020-07-08 22:06:23 266
原创 探索Redis Maxmeory-policy 和过期键的关系
一、测试目的确认到达maxmeory 是否会触发maxmemory-policy清除expire key? 到达maxmeory时没有需要expire的key时,redis是否可用?二、步骤及结论将maxmeory参数调整为100MB. 设定maxmemory-policy为volatile-lru 准备测试环境仅保留一直程序程序写入与读取。 Maxmemory 重启生效准备脚本持续写入history key, 同时收集info keyspave&& info ..
2020-07-08 18:16:30 416
原创 redis主从同步参数repl_backlog_size测算
一、背景在不影响正常业务的情况下redis主从同步时总会出现timeout,部分同步失败的情况。需要评估一下repl-backlog-size的大小,来避免复制时出现异常二、步骤1、获取数据借助redis-cli 、info replication..收集master_repl_offset每一分钟前后的数据,其中使用了sed 和awk命令对数据进行处理,为后期分析提供便利。脚本如下#!/bin/bash# @date: 2020-07-02# @author: ninesun
2020-07-04 17:06:23 4241 3
转载 每个程序员都应该知道的一些时间数据
原文Latency Comparison Numbers--------------------------L1 cache reference 0.5 nsBranch mispredict 5 nsL2 cache reference 7 ns 14x L1 cacheMutex lock/unlock 25 nsMain memory reference 100 ns 20x L2 cache, 200x L1 cacheCompress 1K bytes with Zippy 3
2020-07-04 11:02:51 324
SHL入职测评完全攻略(PDF已分类 可直接搜索!!!)
2023-07-27
京东数科-PG逻辑复制实战
2022-05-14
课程来自于 【大厂学苑】云原生视频课程(视频+资料+代码)
2022-05-14
ji-ke-shi-jian - 云原生 孟Fanjie
2022-05-14
如何成为学习高手.zip
2021-10-28
数据采集之Flume.xmind
2021-09-11
mysql-libs-5.1.73-3.el6_5.x86_64.rpm
2020-08-18
ncurses-6.1.20180407-alt2.src.rpm
2020-05-15
htop-2.2.0.tar.gz
2020-05-15
greenplum-loaders-4.3.27.0-WinXP-x86_32.msi
2020-04-30
【批量下载】jvisualvm安装Visual GC插件等.zip
2019-09-24
4.-Greenplum-数据库架构介绍.pdf
2019-08-30
spring最有学习价值的Demo(springmvc-master)
2017-11-04
gcc mankefile -目录大全
2017-10-19
Hadoop2.x大数据平台
2017-10-19
strtus一个简单的例子
2017-10-12
makefile的使用
2016-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人