自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

MyySophia的博客

Linux深度玩家

  • 博客(23)
  • 资源 (28)
  • 收藏
  • 关注

原创 正则表达式实战

本文都是基于Linux 支持的正则来实战。关于正则的流派见这里。一、提取字符串需要的部分有时候总有一些需求,需要提取一行中需要的部分,例如需要提取博客链接中的数字。regExp]# echo https://www.cnblogs.com/luoahong/p/11577600.html | sed 's/.*p\/\([0-9]*\).*/\1/g'11577600注意:1、s表示替换,\1表示用第一个括号里面的内容替换整个字符串,(可以看作是一个子组)sed支持*,不支持?、+,

2020-07-31 16:58:50 552 1

原创 正则有哪些常见的流派及其特性?

在不了解Liunx 正则流派的前提下在linux环境学习正则非常痛苦。首先看自己的linux 版本支持的流派.使用man grep 即可查询的到........................................................... Matcher Selection -E, --extended-regexp Interpret PATTERN as an extended regular expression (

2020-07-31 16:22:00 535

转载 文件存储和删除的底层过程

本文转载自:https://www.cnblogs.com/f-ck-need-u/p/8659301.html。仅限于学习交流,侵权必删。当a.txt文件要存储到/tmp下时:(1).首先从inode table中找一个空闲的inode号分配给a.txt,例如2222。再将inode map(imap)中2222这个inode号标记为已使用。 (2).在/tmp的data block中添加一条a.txt文件的记录。该记录中包括一个指向inode号的指针,例如"0x2222"。 (3..

2020-07-30 18:23:28 899

原创 删除大量文件和目录时报错:Argument list too long

这个目录下的文件数量我惊呆了。40W+ 的文件目录数量,直接报错了。ansible]# ls tmp/|wc -l406278.ansible]# time rm -rf ./tmp/*-bash: /bin/rm: Argument list too longreal 0m7.728suser 0m4.686ssys 0m0.408s如何解决呢?通过传参的方式解决 ..ansible]# time find /home/.ansible/ -name "a*" | xar

2020-07-30 18:08:05 718

转载 Linux对内存的管理, 以及page fault的概念

原文地址:http://blog.scoutapp.com/articles/2015/04/10/understanding-page-faults-and-memory-swap-in-outs-when-should-you-worry学习后的总结:Linux allocates memory to processes by dividing the physical memory into pages, and then mapping those physical pages to t

2020-07-28 22:19:23 490

原创 Linux 内网发送邮件

有些问题需要第一时间发邮件报警出来,否则漏掉之后比较麻烦。需求: GP外部表有一个location 选项,这个选项是一个ip地址后面跟一个文件名,这个文件和外部表一 一对应。现需要监控外部表的location 是否为外部文件所放的IP地址。发监控邮件用mail命令即可,不需要使用sendmail命令.解决:1、添加邮件服务器域名解析到/etc/hosts/maildrop]# echo "邮件服务器ip地址 smtp.域名.com" >>/etc/hosts2、修改/e

2020-07-28 16:23:39 2661

转载 Linux Postfix

1. 电子邮件系统基础在日常工作和生活中,发送和收取电子邮件已成为人们相互沟通的常见方式。对于国内的许多用户来说,大多会注册使用新浪、网易、Hotmail、Gmail等Web界面的电子邮箱,这些邮箱都是IT服务商提供的免费邮箱服务,在邮箱空间,功能等方面会有所限制。现在更多的企业和机构要求员工使用公司自有的电子邮件系统,通过客户端软件直接与邮件服务器进行通信,以获得更好的通信效率,以及安全、功能方面的保障。1.1 邮件系统角色、邮件协议Internet网络中的电子邮件系统并不是一个孤立.

2020-07-28 16:18:25 1391 1

转载 Linux /proc/meminfo 详解

目录MemTotalMemFreeMemAvailableBuffers / CachedSwapCachedActiveInactiveActive(anon) / Inactive(anon) / Active(file) / Inactive(file)UnevictableMlockedSwapTotalSwapFreeDirtyWritebackAnonPagesMappedShmemSlabSReclaimableS

2020-07-23 13:52:09 2112

原创 Linux 清空缓存命令

某些时候需要把linux 的缓存清理一下。使用时需要区分参数的不同0:不做任何处理,由系统自己管理 1清空pagecache 2清空dentries和inodes 3清空pagecache、dentries和inodesTo free pagecache:# echo 1 > /proc/sys/vm/drop_cachesTo free dentries and inodes:# echo 2 > /proc/sys/vm/drop_cachesTo free pa.

2020-07-23 13:50:02 3601

原创 Redis redis-benchmark 压测结果

redis-benchmark benchmark]# redis-benchmark -h 127.0.0.1 -p 6382 -c 500 -n 200000 -nTotal number of requests (default 100000)-c 500个并发连接,其他参数请通过redis-benchmark --help以下是测试执行的结果====== PING_INLINE ====== 200000 requests completed in 2....

2020-07-22 17:49:33 361

转载 数据库开发规约

目录Redis 开发规范一、键值设计1. key名设计2. value设计3.【推荐】:控制key的生命周期,redis不是垃圾桶。二、命令使用1.【推荐】 O(N)命令关注N的数量2.【推荐】:禁用命令3.【推荐】合理使用select4.【推荐】使用批量操作提高效率5.【建议】Redis事务功能较弱,不建议过多使用6.【建议】Redis集群版本在使用Lua上有特殊要求:7.【建议】必要情况下使用monitor命令时,要注意不要长时间使用。...

2020-07-18 14:19:21 431

转载 PostgreSQL 中生成随机汉字

目录背景汉字unicode编码范围例子1例子2输出所有汉字输出随机汉字参考作者digoal背景汉字unicode编码范围php中utf-8编码下用正则表达式匹配汉字的最终正确表达式 —— /[\x{4e00}-\x{9fa5}]/u \u4e00-\u9fa5 (中文) \x3130-\x318F (韩文) \xAC00-\xD7A3 (韩文) \u0800-\u4e00 (日文) 4e00 对应 199689fa5 .

2020-07-15 17:19:04 1486

原创 GreenPlum debug SQL

qmstst=# create table a (id int); NOTICE: Table doesn't have 'DISTRIBUTED BY' clause -- Using column named 'id' as the Greenplum Database data distribution key for this table.HINT: The 'DISTRIBUTED BY' clause determines the distribution of data. Make .

2020-07-15 16:08:46 457

原创 Java 批量创建MQ

public void createMQ(String queueName) { try (Connection connection = connectionFactory.newConnection()) { //获取一个链接 //从连接中获取一个通道 Channel channel = connection.createChannel(); channel.exchangeDecl...

2020-07-15 09:36:43 360

原创 RabbitMQ队列中unacked消息持续时间很久

今天在使用RTM系统debug测试时,发现程序起来之后unacked就会一直持续。经过查阅资料如果队列中ready状态的消息数比较多,可以认为是消费者的处理能力不足 如若处理过程中出现异常,而没有回复ack 应答。通过后台就会看到有 unacked 的数据。 程序断开于rabbitmq的链接后 unacked的消息状态会重新变为ready 等待消费。事实上,RTM是一个多线程嵌套多线程的程序,其逻辑大致是这样展开,峰值估计每次都能提交上千个task。通过top -Hp PID查看开了多

2020-07-14 19:38:28 7796

原创 IDEA 多线程debug

在debug多线程的时候,断点总会跳的莫名其妙,因为你不知道到底是哪个thread 在running?接下来简单介绍一下在IDEA中使用多线程debug的功能选择希望进入多线程的断点勾选thread,或者在断点处右击选择在thradpool中选择一个thread,F9一步一步跳到该thrad的断点处。...

2020-07-14 13:58:38 402

原创 Rabbmit channel.QueueDeclare参数初识

接触MQ易经有一段时间了,对QueueDeclare一直没有一个全面的认识。channel.QueueDeclare(name, durable, autoDelete, exclusive, args)在debug程序时可以看到这几个参数?分别代表什么意思呢?ame:队列名字 durable:是否持久化, 队列的声明默认是存放到内存中的,如果rabbitmq重启会丢失,如果想重启之后还存在就要使队列持久化,保存到Erlang自带的Mnesia数据库中,当rabbitmq重..

2020-07-14 11:12:11 371

原创 GP information_schema 使用心得

information_schema 里包含了大量的视图,实现了类似mysql中 information_schema 比较易读的数据库元数据管理的功能。业务中使用过的有:1、获取某表的所有列以及其位置"SELECT column_name,data_type from INFORMATION_SCHEMA.COLUMNS where table_name = '" + tableName + "' order by ordinal_position2、获取某个数据库中所有schema中的

2020-07-14 09:53:59 528

转载 GreenPlum安装指南

一、二、GreenPlum的机器选型每个raid组的条带大小256KB三、3.1 系统准备之OS3.2 最小硬件要求3.3 存储3.4 容量估算24*1.23.5 操作系统内核调优3.6 时钟设置3.7 系统资源限制3.8 磁盘I/O及其他参数3.9 创建用户注意GID 和UIDGP 软件安装(建立互信和目录)GP软件安装(检查性能)GP 数据库初...

2020-07-09 22:01:15 472

转载 四笔钱

https://mp.weixin.qq.com/s?__biz=MzIxOTYxNTY4MQ==&mid=2247492014&idx=1&sn=7a6b69d6263296af0b2dbf5ffd29d57e&scene=21#wechat_redirect

2020-07-08 22:06:23 266

原创 探索Redis Maxmeory-policy 和过期键的关系

一、测试目的确认到达maxmeory 是否会触发maxmemory-policy清除expire key? 到达maxmeory时没有需要expire的key时,redis是否可用?二、步骤及结论将maxmeory参数调整为100MB. 设定maxmemory-policy为volatile-lru 准备测试环境仅保留一直程序程序写入与读取。 Maxmemory 重启生效准备脚本持续写入history key, 同时收集info keyspave&& info ..

2020-07-08 18:16:30 416

原创 redis主从同步参数repl_backlog_size测算

一、背景在不影响正常业务的情况下redis主从同步时总会出现timeout,部分同步失败的情况。需要评估一下repl-backlog-size的大小,来避免复制时出现异常二、步骤1、获取数据借助redis-cli 、info replication..收集master_repl_offset每一分钟前后的数据,其中使用了sed 和awk命令对数据进行处理,为后期分析提供便利。脚本如下#!/bin/bash# @date: 2020-07-02# @author: ninesun

2020-07-04 17:06:23 4241 3

转载 每个程序员都应该知道的一些时间数据

原文Latency Comparison Numbers--------------------------L1 cache reference 0.5 nsBranch mispredict 5 nsL2 cache reference 7 ns 14x L1 cacheMutex lock/unlock 25 nsMain memory reference 100 ns 20x L2 cache, 200x L1 cacheCompress 1K bytes with Zippy 3

2020-07-04 11:02:51 324

SHL入职测评完全攻略(PDF已分类 可直接搜索!!!)

PDF已分类 可直接搜索!!!PDF已分类 可直接搜索!!! 现在越来越多的外资企业(包括若干投行、商业银行、industry的MT program等)已经把 笔试(online test或者现场笔试)纳入应聘程序,其中很多公司的test用题源于一家名为 SHL的机构。偶曾经参加过一些投行(UBS,ML, HSBC IB),HSBC BDP program, 渣打等笔试 ,积累了一定的经验(感觉总体来说投行online test难度相对较高,其他稍低),借此机 会和大家分享一下,希望从来没有接触过这种类型test的同学能对此有个感性认识,也希 望参加过该类test的同学能获得有用的信息,结合自己的特点加以改进。 SHL类型test的一般分两部分,numerical test和verbal test。

2023-07-27

京东数科-PG逻辑复制实战

在PostgreSQL 10 之前的流复制都是基于wal日志进行的物理复制,PostgreSQL 10版本中新增了一个逻辑复制的特性,逻辑复制是基于逻辑解析进行复制。它使用类似消息队列的发布者、订阅者的模型,利用复制槽的技术,发布者将wal日志解析成一定格式的数据流,订阅者对解析后的wal日志数据流进行回放应用,从而实现数据的同步。但是需要注意的是,PG的逻辑复制不是“SQL”复制,而是复制SQL操作的结果。 逻辑复制的优势 在进行发布时,可以选择发布 insert 、 delete 、 update,比如只发布insert、不发布update、delete 一个数据库可以有多个发布,保证发布不重名即可,可同规格pg_publication查看 允许一次性发布所有表 一个发布允许有多个订阅者

2022-05-14

课程来自于 【大厂学苑】云原生视频课程(视频+资料+代码)

《拥抱云原生》是大厂学苑联合KubeSphere官方团队,为所有探索云原生生态体系的爱好者全力打造的一套系列课程。 本课程全程云上实战,很好地结合了微服务架构和云计算平台两者的优势,属于架构师必备课程。将从无到有搭建企业自己的私有云平台、包括DevOps平台。 覆盖Kubernetes、Jenkins、Istio、Jaeger、Prometheus、ELK等全套云原生方案,真正实现云上亿级流量永不宕机。 让大家站在架构师角度重新审视云原生时代,体验新一代架构思想ServiceMesh、Serverless带来的革命性变化。 声明:若由于商用引起版权纠纷,一切责任均由使用者承担。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

2022-05-14

ji-ke-shi-jian - 云原生 孟Fanjie

伴随云计算的滚滚浪潮,云原生(CloudNative)的概念应运而生,云原生很火,火得一塌糊涂,都0202年了,如果你还不懂云原生,那真的out了。 大家言必称云原生,却鲜少有人告诉你到底什么是云原生,若是找资料来看,读完大多会感觉云绕雾罩,一知半解,总之虚得很;甚至会让你一度怀疑自己的智商,不过我对于读不懂的文章,一律归因于写文章的人太蠢,当然这不一定是事实,但这样的思考方式能让我避免陷入自我怀疑的负面情绪。

2022-05-14

5种风格的年终总结PPT.zip

快到年终了,这个总结PPT献给各位看友,希望喜欢

2021-10-28

如何成为学习高手.zip

一个人最重要的能力,就是学习能力。因为,我们的一切技能、思维、解决问题的方法,全都是从学习得来。 一个人的学习能力,相当于 Ta 的系统配置。你的学习能力越强,也就是配置越高,无论是学习,还是工作,你越能快速高效地取得好的成绩和结果。 这个专栏可以教会你: 如何掌握考试思维,成为一个特别会考试的人; 如何用连点成线法,在15天内背下10多门专业课; 如何记住读过的每一本书; 如何在5分钟内摆脱拖延症; 一个人在家如何做到高度自律; 如何利用科学方法,每天高效学习12小时; 如何快速学会新技能; 如何通过练习,让自己变得更聪明; …… 这套学习方法,接受过上百万人检验。你在学习中遇到的所有问题,都在这个专栏的射程范围之内。它会在相当大的程度上,改变你与学习相关的一切思维和习惯!

2021-10-28

软考资料-数据库中级工程师.zip

软考资料-数据库中级工程师包括 最新版本教材和历年真题详解

2021-10-27

非常清晰的flink 课程代码demo.zip

FlinkExample.zip 非常清晰的flink 课程代码demo

2021-10-27

数据采集之Flume.xmind

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 Apache Flume是Apache软件基金会(ASF)的顶级项目 Event是Flume定义的一个数据流传输的最小单元。Agent就是一个Flume的实例,本质是一个JVM进程,该JVM进程控制Event数据流从外部日志生产者那里传输到目的地(或者是下一个Agent)。 提示 学习Flume必须明白这几个概念,Event英文直译是事件,但是在Flume里表示数据传输的一个最小单位(被Flume收集的一条条日志又或者一个个的二进制文件,不管你在外面叫什么,进入Flume之后它就叫event)。参照下图可以看得出Agent就是Flume的一个部署实例, 一个完整的Agent中包含了必须的三个组件Source、Channel和Sink,Source是指数据的来源和方式,Channel是一个数据的缓冲池,Sink定义了数据输出的方式和目的地(这三个组件是必须有的,另外还有很多可选的组件interceptor、channel selector、sink processor等后面会介绍)。

2021-09-11

mysql-libs-5.1.73-3.el6_5.x86_64.rpm

启动postfix时报错: Please specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directoryPlease specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory 安装 rpm -ivh mysql-libs-5.1.73-3.el6_5.x86_64.rpm 解决

2020-08-18

ncurses-6.1.20180407-alt2.src.rpm

htop依赖包,htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

htop-2.2.0.tar.gz

htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

greenplum-loaders-4.3.27.0-WinXP-x86_32.msi

gpfdist是一个使用HTTP协议的文件服务器程序,它以并行的方式向Greenplum数据库的Segment供应外部数据文件一个gpfdist实例,每秒能供应200MB并且很多gpfdist进程可以同时运行,每一个供应要被装载的数据的一部分。当使用者用INSERT INTO SELECT * FROM 这样的语句开始装载时,INSERT语句会被Master解析并且分布给主Segment。Segment连接到gpfdist服务器并且并行检索数据,解析并验证数据,从分布键数据计算一个哈希值并且基于哈希键把行发送给它的目标Segment。每个gpfdist实例默认将接受最多64个来自Segment的连接。通过让许多Segment和gpfdist服务器参与到装载处理中,可以以非常高的速率被装载。

2020-04-30

Redis基础.pptx

redis基本原理,以问答形式展开。有助于深入理解redis。

2020-02-28

很有用的述职报告.pptx

年底了,该交述职报告了,年底绩效考核该如何得分。。

2019-11-18

【批量下载】jvisualvm安装Visual GC插件等.zip

GC调优步骤: 1、打印GC日志 -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps  -XX:+PrintGCDateStamps  -Xloggc:./gc.log Tomcat则直接加在JAVA_OPTS变量里 2、分析日志得到关键性指标 3、分析GC原因,调优JVM参数

2019-09-24

4.-Greenplum-数据库架构介绍.pdf

Greenplum是一个分布式数据库系统,因此其所有的业务数据都是物理存放在集群的所有Segment实例数据库上;在Greenplum数据库中所有表都是分布式的,

2019-08-30

Greenplum企业应用实战.pdf

分布式数据库 Green Plum。 企业实战。你值得拥有!!!!!!!!!!!!!

2019-07-17

ethereal-setup-0.99.0.rar

利用分組嗅探器 ethereal(wireshark)分析HTTP 和DNS

2019-05-09

万能的连接工具DBeaver

万能的连接工具DBeaver dbeaver-ce-5.0.0-win32.win32.x86_64 (1).zip

2018-09-03

GPCC的安装包

GPCC的安装包 greenplum-cc-web-2.0.0-build-32-RHEL5-x86_64.zip

2018-09-03

框架完整简洁实用个人述职报告PPT

框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT

2017-11-09

spring最有学习价值的Demo(springmvc-master)

spring最有学习价值的Demo(springmvc-master)spring最有学习价值的Demo(springmvc-master)

2017-11-04

gcc mankefile -目录大全

linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!! linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!!

2017-10-19

Hadoop2.x大数据平台

(1) HDFS 2.0应用场景、原理、基本架构及使用方法.pdf (2) HDFS 2.0实战—Shell命令使用.pdf (3) Understanding_Hadoop_Clusters_and_the_Network.pdf 《 HDFS应用场景、部署、原理与基本架构》作业.pdf 《 YARN应用程序设计方法》作业.pdf 《MapReduce 2.0程序设计(涉及多语言编程)》作业.pdf 《MapReduce 2.0应用场景、原理与基本架构》作业.pdf MapReduce 2.0程序设计(涉及多语言编程)-理论部分.pdf MapReduce 2.0程序设计(涉及多语言编程)-实战部分.pdf

2017-10-19

strtus一个简单的例子

一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子

2017-10-12

makefile的使用

2016-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除