自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

MyySophia的博客

Linux深度玩家

  • 博客(22)
  • 资源 (28)
  • 收藏
  • 关注

原创 windows下安装greenplum 的gploader服务

目录一、安装包准备二、安装过程三、启动gpfdist服务四、常见问题一、安装包准备环境 : GP 4.3官方地址:https://network.pivotal.io/products/pivotal-gpdb下载速度比较慢,可在以下地址下载。https://mp.csdn.net/console/upDetailed二、安装过程2.1 直接按...

2020-04-30 17:12:51 1350

原创 Rabbmit MQ 消费模式

Act ModeNack message requeue true获取消息,但是不做ack应答确认,消息重新入队Ack message requeue false获取消息,应答确认,消息不重新入队,将会从队列中删除reject requeue true拒绝获取消息,消息重新入队reject requeue false拒绝获取消息,消息不重新入队,将会被删除...

2020-04-30 15:14:49 448

原创 Codis slot分配 && zookeeper和Codis深刻理解

------------------------------------------------------------update 2020年5月13日10:22:13----------------------------------------------------------------发生改变之后,通过redis-cli 能访问到该key的旧值,事实上该key是时刻更新的,然而貌似是读不到这个key。--------------------UPDATE 2021年7月6日14:37:33。

2020-04-29 22:14:54 889

原创 redis集群

一、集群完整性127.0.0.1:6379> config get cluster-require-full-coverage1) "cluster-require-full-coverage"2) "yes"二、带宽消耗

2020-04-29 21:49:57 240

转载 Redis的Linux系统优化

通常来看,Redis开发和运维人员更加关注的是Redis本身的一些配置优化,例如AOF和RDB的配置优化、数据结构的配置优化等,但是对于操作系统是否需要针对Redis做一些配置优化不甚了解或者不太关心,然而事实证明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。众所周知Redis的作者对于Windows操作系统并不感冒,目前大部分公司都会将Web服务器、数据库服务器等部署在Linu...

2020-04-29 16:40:50 298

原创 redis 持久化

reids的持久化有两种,其中一种就是类似于快照的RDB文件,另外一种类似于mysql的binrary log。出发rdb的条件有三个:....在使用 bgsave命令手动做rdb dump时需要理解几个问题1、bgsave 是异步执行的,是通过fork一个redis 子进程来执行,仅仅会在fork的时候会阻塞,而fork是非常快的,这得益于linux 的copy on wr...

2020-04-28 14:41:15 255

原创 建表报错 primary key and distributed by definition incompatible

在gp中建表时遇到如下报错:primary key and distributed by definition incompatible原因: 如果分布键是联合主键之一,则必须要求联合主键的第一个必须是分布键。...

2020-04-28 10:55:10 3002 1

原创 redis为什么可以实现分布式锁?和zookeeper实现分布式锁的区别

业务上的用到的redis分布式锁是在多个ap操作同一个数据库表上,以此来避免表锁。多只AP 去抢锁,抢到锁之后才可以对数据做一系列的增删改的操作。首先都会抢着去占锁,抢到后直接设定过期时间,如果获取到的value是nil值则直接删除该key。等待下一次抢锁。关于锁的问题也出过几次问题:1、程序异常中断,锁未释放,导致AP 在空跑,设定的锁过期时间是15mins关键字: setnx...

2020-04-28 10:50:04 742

转载 Linux /proc目录详解

proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过proc得到系统的信息,并可以改变内核的某些参数。由于系统的信息,如进程,是动态改变的,所以用户或应用程序读取proc文件时,proc文件系统是动态从系统内核读出所需信息并提交的。proc的主要目录和文件apm #...

2020-04-27 10:51:14 334

原创 GreenPlum企业应用实践--第五章SQL执行计划

正在上传…重新上传取消-------------------------------------------------------------------------------------------------------------------------2018/07/11 wx注解:位图扫描也是一种走索引的方式。方法是扫描索引,把满足条件的行或块在内存中建一个位图...

2020-04-25 11:36:31 595

原创 gcc 和gdb

恶补一下大学Linux C的常用操作[root@P1QMSTST01 ~]# gdbGNU gdb (GDB) Red Hat Enterprise Linux (7.2-92.el6)Copyright (C) 2010 Free Software Foundation, Inc.License GPLv3+: GNU GPL v...

2020-04-24 22:11:06 258

原创 GP删除百亿级别表为何那么快?

昨天进行对GP的一个比较大的业务表进行了drop动作,该表的大小大约在160亿左右,后来经过统计数据大小大约占6TB的空间,primary和mirror空间总共释放了12TB。 GP的releation都会维护在一个 pg_class 的view中,通过sql 可以查询到某个table在disk的详细信息 pg_clas...

2020-04-23 18:17:23 521

原创 从微信错误报告窥探个人隐私

今天使用微信突然异常退出,出于好奇打开了微信的错误报告详细内容:Windows 10 Pro [Build 10.0.15063]CPU: Intel(R) Core(TM) i3-6100 CPU @ 3.70GHz微信 2.71.0088 2020/4/23 13:37:37----------------------------------------Type: C00003...

2020-04-23 13:56:21 1800

转载 主备 主从 主主模式

主备 主从 主主模式目录主备 主从 主主模式主备主从主主结语单点故障的情况不可避免,而且单副本的存储方案早已无法满足业务的可靠性要求,单机可靠性就就两个9,也就是一年大概有3.65天不可用。因此一般情况下我们至少也会上个双机存储架构。凡事最好有个plan B。主备主:主机,备:备机。主机的意思当然是以它为主了,读写都是主机上,而备机呢就是备用,默默的在背后吸收...

2020-04-19 13:19:37 1510

原创 redis维护需要掌握的参数配置

一、vm.overcommit_memoryovercommit 参数对redis 的影响。如果设定为0,启动redis会提示:redis期望你将overcommit参数设定为1overcommit_memory的意义[root@P1QMSPL2RTM01 monitor]# cat /proc/sys/vm/overcommit_memory 1修改该参...

2020-04-18 22:37:55 465

原创 redis高效运维必知必会

序列化是有成本的不要忽略键的长度参考:1、2、redis主从复制(2)— replication buffer与replication backlog3、复制超时4、主从同步的参数问题5、copy on write 技术COW奶牛!Copy On Write机制了解一下6、深入理解复制。

2020-04-16 22:46:04 977 1

转载 Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑们

本次分享的内容主要包括五个大部分: Redis、RedisCluster和Codis; 我们更爱一致性; Codis在生产环境中的使用的经验和坑们; 对于分布式数据库和分布式架构的一些看法; Q & A环节。   Codis是一个分布式Redis解决方案,与官方的纯P2P的模式不同,Codis采用的是Proxy-based的方案。今天我们介...

2020-04-08 16:16:35 302

原创 redis ERR handle response, backend conn failure, bad array len, too long

一、报错讯息背景:需要获取一个hash类型的key的数量。使用coids 通过19000 port连接,查询某个key 报此错误[root@P1QM01 ~]# redis-cli -p 19000127.0.0.1:19000> zrangebyscore history:L7100 0 -1(empty list or set)127.0.0.1:19000> ...

2020-04-07 15:58:39 1125

转载 Codis 的设计与实现 Part 3

性能,HA (高可用),运维等等「对于一个设计良好的分布式系统来说,单机性能从来不是一个问题 」—— 我第一篇文章就说了,Codis 采用了 Proxy 的方案,所以必然会带来单机性能的损失,经测试,在不开 pipeline 的情况下,大概会损失 40% 左右的性能,但是 Redis 本身是一个快得吓人的东西,即使单机损失了 40% 仍然是一个很大的数字。另外一个比较好的地方是,Co...

2020-04-07 13:40:40 227

转载 Codis 的设计与实现 Part 2

多 Proxy 架构转存失败重新上传取消在 Codis 的设计中, Proxy 被设计成无状态的,客户端连接任何一个 Proxy 都是一样的。而且每个 Proxy 启动的时候,会在 Zookeeper 上注册一个临时节点, 所以客户端甚至可以根据这个特性实现 HA (其实我在豌豆荚内部就写了一个基于 Jedis 的 Codis HA RoundRobinPool)当然,这个设计带来的好...

2020-04-07 13:38:37 281

转载 Codis 的设计与实现 Part 1

最近开源了Codis,在 Github 上的反响挺不错的,3天已经收集到了 1000 多 stars, 让我比较吃惊。 也从侧面说明了确实分布式缓存是大家都会遇到的问题。于是我打算在本篇和接下来的几篇 Blog 详细说明一下 Codis 的设计和一些背后的考虑,以及对于分布式存储(尤其是缓存)系统的一些思考。Why proxy?Codis 的架构采用了 Proxy-based 的设计,没...

2020-04-07 13:37:31 202

原创 Linux 文本查看命令

一、cat选项与参数:-A:相当于-vET的整合, 可以列出一些特殊字符而不是空白而已 -b:列出行号,进针对非空白行做行号显示,空白行不会标记 -E:将结尾换行符$显示出来 -n:打印出行号,连同空白行也会有行号,与-b的选项不同 -T: 将[tab]键以^I显示出来 -v: 列出一些看不出来的特殊字符第三个和第五个参数可看到文本中的换行符和table键显示出...

2020-04-03 09:10:59 213

SHL入职测评完全攻略(PDF已分类 可直接搜索!!!)

PDF已分类 可直接搜索!!!PDF已分类 可直接搜索!!! 现在越来越多的外资企业(包括若干投行、商业银行、industry的MT program等)已经把 笔试(online test或者现场笔试)纳入应聘程序,其中很多公司的test用题源于一家名为 SHL的机构。偶曾经参加过一些投行(UBS,ML, HSBC IB),HSBC BDP program, 渣打等笔试 ,积累了一定的经验(感觉总体来说投行online test难度相对较高,其他稍低),借此机 会和大家分享一下,希望从来没有接触过这种类型test的同学能对此有个感性认识,也希 望参加过该类test的同学能获得有用的信息,结合自己的特点加以改进。 SHL类型test的一般分两部分,numerical test和verbal test。

2023-07-27

京东数科-PG逻辑复制实战

在PostgreSQL 10 之前的流复制都是基于wal日志进行的物理复制,PostgreSQL 10版本中新增了一个逻辑复制的特性,逻辑复制是基于逻辑解析进行复制。它使用类似消息队列的发布者、订阅者的模型,利用复制槽的技术,发布者将wal日志解析成一定格式的数据流,订阅者对解析后的wal日志数据流进行回放应用,从而实现数据的同步。但是需要注意的是,PG的逻辑复制不是“SQL”复制,而是复制SQL操作的结果。 逻辑复制的优势 在进行发布时,可以选择发布 insert 、 delete 、 update,比如只发布insert、不发布update、delete 一个数据库可以有多个发布,保证发布不重名即可,可同规格pg_publication查看 允许一次性发布所有表 一个发布允许有多个订阅者

2022-05-14

课程来自于 【大厂学苑】云原生视频课程(视频+资料+代码)

《拥抱云原生》是大厂学苑联合KubeSphere官方团队,为所有探索云原生生态体系的爱好者全力打造的一套系列课程。 本课程全程云上实战,很好地结合了微服务架构和云计算平台两者的优势,属于架构师必备课程。将从无到有搭建企业自己的私有云平台、包括DevOps平台。 覆盖Kubernetes、Jenkins、Istio、Jaeger、Prometheus、ELK等全套云原生方案,真正实现云上亿级流量永不宕机。 让大家站在架构师角度重新审视云原生时代,体验新一代架构思想ServiceMesh、Serverless带来的革命性变化。 声明:若由于商用引起版权纠纷,一切责任均由使用者承担。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

2022-05-14

ji-ke-shi-jian - 云原生 孟Fanjie

伴随云计算的滚滚浪潮,云原生(CloudNative)的概念应运而生,云原生很火,火得一塌糊涂,都0202年了,如果你还不懂云原生,那真的out了。 大家言必称云原生,却鲜少有人告诉你到底什么是云原生,若是找资料来看,读完大多会感觉云绕雾罩,一知半解,总之虚得很;甚至会让你一度怀疑自己的智商,不过我对于读不懂的文章,一律归因于写文章的人太蠢,当然这不一定是事实,但这样的思考方式能让我避免陷入自我怀疑的负面情绪。

2022-05-14

5种风格的年终总结PPT.zip

快到年终了,这个总结PPT献给各位看友,希望喜欢

2021-10-28

如何成为学习高手.zip

一个人最重要的能力,就是学习能力。因为,我们的一切技能、思维、解决问题的方法,全都是从学习得来。 一个人的学习能力,相当于 Ta 的系统配置。你的学习能力越强,也就是配置越高,无论是学习,还是工作,你越能快速高效地取得好的成绩和结果。 这个专栏可以教会你: 如何掌握考试思维,成为一个特别会考试的人; 如何用连点成线法,在15天内背下10多门专业课; 如何记住读过的每一本书; 如何在5分钟内摆脱拖延症; 一个人在家如何做到高度自律; 如何利用科学方法,每天高效学习12小时; 如何快速学会新技能; 如何通过练习,让自己变得更聪明; …… 这套学习方法,接受过上百万人检验。你在学习中遇到的所有问题,都在这个专栏的射程范围之内。它会在相当大的程度上,改变你与学习相关的一切思维和习惯!

2021-10-28

软考资料-数据库中级工程师.zip

软考资料-数据库中级工程师包括 最新版本教材和历年真题详解

2021-10-27

非常清晰的flink 课程代码demo.zip

FlinkExample.zip 非常清晰的flink 课程代码demo

2021-10-27

数据采集之Flume.xmind

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 Apache Flume是Apache软件基金会(ASF)的顶级项目 Event是Flume定义的一个数据流传输的最小单元。Agent就是一个Flume的实例,本质是一个JVM进程,该JVM进程控制Event数据流从外部日志生产者那里传输到目的地(或者是下一个Agent)。 提示 学习Flume必须明白这几个概念,Event英文直译是事件,但是在Flume里表示数据传输的一个最小单位(被Flume收集的一条条日志又或者一个个的二进制文件,不管你在外面叫什么,进入Flume之后它就叫event)。参照下图可以看得出Agent就是Flume的一个部署实例, 一个完整的Agent中包含了必须的三个组件Source、Channel和Sink,Source是指数据的来源和方式,Channel是一个数据的缓冲池,Sink定义了数据输出的方式和目的地(这三个组件是必须有的,另外还有很多可选的组件interceptor、channel selector、sink processor等后面会介绍)。

2021-09-11

mysql-libs-5.1.73-3.el6_5.x86_64.rpm

启动postfix时报错: Please specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directoryPlease specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory 安装 rpm -ivh mysql-libs-5.1.73-3.el6_5.x86_64.rpm 解决

2020-08-18

ncurses-6.1.20180407-alt2.src.rpm

htop依赖包,htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

htop-2.2.0.tar.gz

htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

greenplum-loaders-4.3.27.0-WinXP-x86_32.msi

gpfdist是一个使用HTTP协议的文件服务器程序,它以并行的方式向Greenplum数据库的Segment供应外部数据文件一个gpfdist实例,每秒能供应200MB并且很多gpfdist进程可以同时运行,每一个供应要被装载的数据的一部分。当使用者用INSERT INTO SELECT * FROM 这样的语句开始装载时,INSERT语句会被Master解析并且分布给主Segment。Segment连接到gpfdist服务器并且并行检索数据,解析并验证数据,从分布键数据计算一个哈希值并且基于哈希键把行发送给它的目标Segment。每个gpfdist实例默认将接受最多64个来自Segment的连接。通过让许多Segment和gpfdist服务器参与到装载处理中,可以以非常高的速率被装载。

2020-04-30

Redis基础.pptx

redis基本原理,以问答形式展开。有助于深入理解redis。

2020-02-28

很有用的述职报告.pptx

年底了,该交述职报告了,年底绩效考核该如何得分。。

2019-11-18

【批量下载】jvisualvm安装Visual GC插件等.zip

GC调优步骤: 1、打印GC日志 -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps  -XX:+PrintGCDateStamps  -Xloggc:./gc.log Tomcat则直接加在JAVA_OPTS变量里 2、分析日志得到关键性指标 3、分析GC原因,调优JVM参数

2019-09-24

4.-Greenplum-数据库架构介绍.pdf

Greenplum是一个分布式数据库系统,因此其所有的业务数据都是物理存放在集群的所有Segment实例数据库上;在Greenplum数据库中所有表都是分布式的,

2019-08-30

Greenplum企业应用实战.pdf

分布式数据库 Green Plum。 企业实战。你值得拥有!!!!!!!!!!!!!

2019-07-17

ethereal-setup-0.99.0.rar

利用分組嗅探器 ethereal(wireshark)分析HTTP 和DNS

2019-05-09

万能的连接工具DBeaver

万能的连接工具DBeaver dbeaver-ce-5.0.0-win32.win32.x86_64 (1).zip

2018-09-03

GPCC的安装包

GPCC的安装包 greenplum-cc-web-2.0.0-build-32-RHEL5-x86_64.zip

2018-09-03

框架完整简洁实用个人述职报告PPT

框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT

2017-11-09

spring最有学习价值的Demo(springmvc-master)

spring最有学习价值的Demo(springmvc-master)spring最有学习价值的Demo(springmvc-master)

2017-11-04

gcc mankefile -目录大全

linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!! linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!!

2017-10-19

Hadoop2.x大数据平台

(1) HDFS 2.0应用场景、原理、基本架构及使用方法.pdf (2) HDFS 2.0实战—Shell命令使用.pdf (3) Understanding_Hadoop_Clusters_and_the_Network.pdf 《 HDFS应用场景、部署、原理与基本架构》作业.pdf 《 YARN应用程序设计方法》作业.pdf 《MapReduce 2.0程序设计(涉及多语言编程)》作业.pdf 《MapReduce 2.0应用场景、原理与基本架构》作业.pdf MapReduce 2.0程序设计(涉及多语言编程)-理论部分.pdf MapReduce 2.0程序设计(涉及多语言编程)-实战部分.pdf

2017-10-19

strtus一个简单的例子

一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子

2017-10-12

makefile的使用

2016-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除