- 博客(22)
- 资源 (28)
- 收藏
- 关注
原创 windows下安装greenplum 的gploader服务
目录一、安装包准备二、安装过程三、启动gpfdist服务四、常见问题一、安装包准备环境 : GP 4.3官方地址:https://network.pivotal.io/products/pivotal-gpdb下载速度比较慢,可在以下地址下载。https://mp.csdn.net/console/upDetailed二、安装过程2.1 直接按...
2020-04-30 17:12:51 1350
原创 Rabbmit MQ 消费模式
Act ModeNack message requeue true获取消息,但是不做ack应答确认,消息重新入队Ack message requeue false获取消息,应答确认,消息不重新入队,将会从队列中删除reject requeue true拒绝获取消息,消息重新入队reject requeue false拒绝获取消息,消息不重新入队,将会被删除...
2020-04-30 15:14:49 448
原创 Codis slot分配 && zookeeper和Codis深刻理解
------------------------------------------------------------update 2020年5月13日10:22:13----------------------------------------------------------------发生改变之后,通过redis-cli 能访问到该key的旧值,事实上该key是时刻更新的,然而貌似是读不到这个key。--------------------UPDATE 2021年7月6日14:37:33。
2020-04-29 22:14:54 889
原创 redis集群
一、集群完整性127.0.0.1:6379> config get cluster-require-full-coverage1) "cluster-require-full-coverage"2) "yes"二、带宽消耗
2020-04-29 21:49:57 240
转载 Redis的Linux系统优化
通常来看,Redis开发和运维人员更加关注的是Redis本身的一些配置优化,例如AOF和RDB的配置优化、数据结构的配置优化等,但是对于操作系统是否需要针对Redis做一些配置优化不甚了解或者不太关心,然而事实证明一个良好的系统操作配置能够为Redis服务良好运行保驾护航。众所周知Redis的作者对于Windows操作系统并不感冒,目前大部分公司都会将Web服务器、数据库服务器等部署在Linu...
2020-04-29 16:40:50 298
原创 redis 持久化
reids的持久化有两种,其中一种就是类似于快照的RDB文件,另外一种类似于mysql的binrary log。出发rdb的条件有三个:....在使用 bgsave命令手动做rdb dump时需要理解几个问题1、bgsave 是异步执行的,是通过fork一个redis 子进程来执行,仅仅会在fork的时候会阻塞,而fork是非常快的,这得益于linux 的copy on wr...
2020-04-28 14:41:15 255
原创 建表报错 primary key and distributed by definition incompatible
在gp中建表时遇到如下报错:primary key and distributed by definition incompatible原因: 如果分布键是联合主键之一,则必须要求联合主键的第一个必须是分布键。...
2020-04-28 10:55:10 3002 1
原创 redis为什么可以实现分布式锁?和zookeeper实现分布式锁的区别
业务上的用到的redis分布式锁是在多个ap操作同一个数据库表上,以此来避免表锁。多只AP 去抢锁,抢到锁之后才可以对数据做一系列的增删改的操作。首先都会抢着去占锁,抢到后直接设定过期时间,如果获取到的value是nil值则直接删除该key。等待下一次抢锁。关于锁的问题也出过几次问题:1、程序异常中断,锁未释放,导致AP 在空跑,设定的锁过期时间是15mins关键字: setnx...
2020-04-28 10:50:04 742
转载 Linux /proc目录详解
proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过proc得到系统的信息,并可以改变内核的某些参数。由于系统的信息,如进程,是动态改变的,所以用户或应用程序读取proc文件时,proc文件系统是动态从系统内核读出所需信息并提交的。proc的主要目录和文件apm #...
2020-04-27 10:51:14 334
原创 GreenPlum企业应用实践--第五章SQL执行计划
正在上传…重新上传取消-------------------------------------------------------------------------------------------------------------------------2018/07/11 wx注解:位图扫描也是一种走索引的方式。方法是扫描索引,把满足条件的行或块在内存中建一个位图...
2020-04-25 11:36:31 595
原创 gcc 和gdb
恶补一下大学Linux C的常用操作[root@P1QMSTST01 ~]# gdbGNU gdb (GDB) Red Hat Enterprise Linux (7.2-92.el6)Copyright (C) 2010 Free Software Foundation, Inc.License GPLv3+: GNU GPL v...
2020-04-24 22:11:06 258
原创 GP删除百亿级别表为何那么快?
昨天进行对GP的一个比较大的业务表进行了drop动作,该表的大小大约在160亿左右,后来经过统计数据大小大约占6TB的空间,primary和mirror空间总共释放了12TB。 GP的releation都会维护在一个 pg_class 的view中,通过sql 可以查询到某个table在disk的详细信息 pg_clas...
2020-04-23 18:17:23 521
原创 从微信错误报告窥探个人隐私
今天使用微信突然异常退出,出于好奇打开了微信的错误报告详细内容:Windows 10 Pro [Build 10.0.15063]CPU: Intel(R) Core(TM) i3-6100 CPU @ 3.70GHz微信 2.71.0088 2020/4/23 13:37:37----------------------------------------Type: C00003...
2020-04-23 13:56:21 1800
转载 主备 主从 主主模式
主备 主从 主主模式目录主备 主从 主主模式主备主从主主结语单点故障的情况不可避免,而且单副本的存储方案早已无法满足业务的可靠性要求,单机可靠性就就两个9,也就是一年大概有3.65天不可用。因此一般情况下我们至少也会上个双机存储架构。凡事最好有个plan B。主备主:主机,备:备机。主机的意思当然是以它为主了,读写都是主机上,而备机呢就是备用,默默的在背后吸收...
2020-04-19 13:19:37 1510
原创 redis维护需要掌握的参数配置
一、vm.overcommit_memoryovercommit 参数对redis 的影响。如果设定为0,启动redis会提示:redis期望你将overcommit参数设定为1overcommit_memory的意义[root@P1QMSPL2RTM01 monitor]# cat /proc/sys/vm/overcommit_memory 1修改该参...
2020-04-18 22:37:55 465
原创 redis高效运维必知必会
序列化是有成本的不要忽略键的长度参考:1、2、redis主从复制(2)— replication buffer与replication backlog3、复制超时4、主从同步的参数问题5、copy on write 技术COW奶牛!Copy On Write机制了解一下6、深入理解复制。
2020-04-16 22:46:04 977 1
转载 Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑们
本次分享的内容主要包括五个大部分: Redis、RedisCluster和Codis; 我们更爱一致性; Codis在生产环境中的使用的经验和坑们; 对于分布式数据库和分布式架构的一些看法; Q & A环节。 Codis是一个分布式Redis解决方案,与官方的纯P2P的模式不同,Codis采用的是Proxy-based的方案。今天我们介...
2020-04-08 16:16:35 302
原创 redis ERR handle response, backend conn failure, bad array len, too long
一、报错讯息背景:需要获取一个hash类型的key的数量。使用coids 通过19000 port连接,查询某个key 报此错误[root@P1QM01 ~]# redis-cli -p 19000127.0.0.1:19000> zrangebyscore history:L7100 0 -1(empty list or set)127.0.0.1:19000> ...
2020-04-07 15:58:39 1125
转载 Codis 的设计与实现 Part 3
性能,HA (高可用),运维等等「对于一个设计良好的分布式系统来说,单机性能从来不是一个问题 」—— 我第一篇文章就说了,Codis 采用了 Proxy 的方案,所以必然会带来单机性能的损失,经测试,在不开 pipeline 的情况下,大概会损失 40% 左右的性能,但是 Redis 本身是一个快得吓人的东西,即使单机损失了 40% 仍然是一个很大的数字。另外一个比较好的地方是,Co...
2020-04-07 13:40:40 227
转载 Codis 的设计与实现 Part 2
多 Proxy 架构转存失败重新上传取消在 Codis 的设计中, Proxy 被设计成无状态的,客户端连接任何一个 Proxy 都是一样的。而且每个 Proxy 启动的时候,会在 Zookeeper 上注册一个临时节点, 所以客户端甚至可以根据这个特性实现 HA (其实我在豌豆荚内部就写了一个基于 Jedis 的 Codis HA RoundRobinPool)当然,这个设计带来的好...
2020-04-07 13:38:37 281
转载 Codis 的设计与实现 Part 1
最近开源了Codis,在 Github 上的反响挺不错的,3天已经收集到了 1000 多 stars, 让我比较吃惊。 也从侧面说明了确实分布式缓存是大家都会遇到的问题。于是我打算在本篇和接下来的几篇 Blog 详细说明一下 Codis 的设计和一些背后的考虑,以及对于分布式存储(尤其是缓存)系统的一些思考。Why proxy?Codis 的架构采用了 Proxy-based 的设计,没...
2020-04-07 13:37:31 202
原创 Linux 文本查看命令
一、cat选项与参数:-A:相当于-vET的整合, 可以列出一些特殊字符而不是空白而已 -b:列出行号,进针对非空白行做行号显示,空白行不会标记 -E:将结尾换行符$显示出来 -n:打印出行号,连同空白行也会有行号,与-b的选项不同 -T: 将[tab]键以^I显示出来 -v: 列出一些看不出来的特殊字符第三个和第五个参数可看到文本中的换行符和table键显示出...
2020-04-03 09:10:59 213
SHL入职测评完全攻略(PDF已分类 可直接搜索!!!)
2023-07-27
京东数科-PG逻辑复制实战
2022-05-14
课程来自于 【大厂学苑】云原生视频课程(视频+资料+代码)
2022-05-14
ji-ke-shi-jian - 云原生 孟Fanjie
2022-05-14
如何成为学习高手.zip
2021-10-28
数据采集之Flume.xmind
2021-09-11
mysql-libs-5.1.73-3.el6_5.x86_64.rpm
2020-08-18
ncurses-6.1.20180407-alt2.src.rpm
2020-05-15
htop-2.2.0.tar.gz
2020-05-15
greenplum-loaders-4.3.27.0-WinXP-x86_32.msi
2020-04-30
【批量下载】jvisualvm安装Visual GC插件等.zip
2019-09-24
4.-Greenplum-数据库架构介绍.pdf
2019-08-30
spring最有学习价值的Demo(springmvc-master)
2017-11-04
gcc mankefile -目录大全
2017-10-19
Hadoop2.x大数据平台
2017-10-19
strtus一个简单的例子
2017-10-12
makefile的使用
2016-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人