自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

MyySophia的博客

Linux深度玩家

  • 博客(6)
  • 资源 (28)
  • 收藏
  • 关注

转载 大数据≠hadoop,数据中台选型你应该看到这些分布式数据库

作者:蚂蚁来源:数据中台研习社长期以来,由于以hadoop为核心的生态系统霸占了大数据的各个角度,以至于我们以为大数据就是hadoop。诚然,自hadoop诞生以来,hive+hbase掀起第一个高潮,而后Spark和Flink更是火爆到不行,声浪一阵盖过一阵。尽管hadoop在高并发、海量数据处理等方面有着无可比拟的优势,但是在OLAP场景下的数据分析方面始终不如人意。 在hadoop生态体系中,可以用作OLAP分析的引擎主要有以下几个:1)Hive Hive ...

2021-09-17 15:18:11 657

原创 解决服务器重启,GreenPlum无法启动问题

一台测试服务器,由于升级glib的时候直接把系统搞死,机器无法启动,后来机器就回来之后,发现GP 启动不起来了。gp启动时报错 home]$ gpstart -a20210917:11:05:30:028785 gpstart:gptest01:gpadmin-[INFO]:-Starting gpstart with args: -a20210917:11:05:30:028785 gpstart:gptest01:gpadmin-[INFO]:-Gathering information

2021-09-17 13:40:33 1212

原创 从一次数据库异看系统设计存在的问题

目录一、背景二、什么问题?三、如何解决一、背景数据库发生异常,集群的一个节点发生异常。和数据库相关的系统均发生了不同程度的异常,从这次异常发生发现了一些系统设计存在的问题二、什么问题?系统架构大致如此数据透过FL解析将消息发送到MQ中,一些去重逻辑放在redis中。另一只程序HMS 从Queue中消费消息到数据库中。写代码的人在HMS这支程序中使用了线程池,如果某个线程执行超过了10mins,则直接结束掉这个线程。 executor.execute(.

2021-09-16 16:32:04 208

原创 什么是flume?

快速了解flumeflume中的eventflume三大核心组件flume数据采集flume高级组件Source InterceptorsChannel SelectorsSink Processors需要源文件的请自行下载:CSDN

2021-09-11 21:59:56 163

原创 postgresql 之search_path的生效方式

1、对当前会话=# show search_path; search_path---------------- "$user",public(1 row)=# set search_path = temp, "$user",public;SET=# show search_path; search_path----------------------------------------------------------

2021-09-02 14:56:05 1052

原创 MapReduce之数据倾斜问题

MapReduce是分为Map阶段和Reduce阶段,其实提高执行效率就是提高这两个阶段的执行效 率默认情况下Map阶段中Map任务的个数是和数据的InputSplit相关的,InputSplit的个数一般是和Block块是有关联的,所以可以认为Map任务的个数和数据的block块个数有关系,针对Map任务的个数我们一般 是不需要干预的。如果遇到海量小文件,可以考虑把小文件合并成大文件。使用hadoop提供的两个类型可以解决。Reduce阶段:默认情况下reduce的个数是1个,所以现在Map.

2021-09-01 22:53:32 485

SHL入职测评完全攻略(PDF已分类 可直接搜索!!!)

PDF已分类 可直接搜索!!!PDF已分类 可直接搜索!!! 现在越来越多的外资企业(包括若干投行、商业银行、industry的MT program等)已经把 笔试(online test或者现场笔试)纳入应聘程序,其中很多公司的test用题源于一家名为 SHL的机构。偶曾经参加过一些投行(UBS,ML, HSBC IB),HSBC BDP program, 渣打等笔试 ,积累了一定的经验(感觉总体来说投行online test难度相对较高,其他稍低),借此机 会和大家分享一下,希望从来没有接触过这种类型test的同学能对此有个感性认识,也希 望参加过该类test的同学能获得有用的信息,结合自己的特点加以改进。 SHL类型test的一般分两部分,numerical test和verbal test。

2023-07-27

年终总结PPT灵感手册(旁门左道PPT工作室出品)

年终总结PPT灵感手册 你知道像腾讯等大厂的御用PPT设计师,做一页PPT多少钱吗?单页最少在500元。快速学会做高级PPT,小白进阶成大神,接商单接到手软!你也可以的~ 1980页PPT灵感手册(2017、2018、2019、2020、2021) 定制级活动策划PPT设计灵感手册 定制级工作型PPT设计灵感手册 定制级学术型PPT设计灵感手册

2023-02-02

京东数科-PG逻辑复制实战

在PostgreSQL 10 之前的流复制都是基于wal日志进行的物理复制,PostgreSQL 10版本中新增了一个逻辑复制的特性,逻辑复制是基于逻辑解析进行复制。它使用类似消息队列的发布者、订阅者的模型,利用复制槽的技术,发布者将wal日志解析成一定格式的数据流,订阅者对解析后的wal日志数据流进行回放应用,从而实现数据的同步。但是需要注意的是,PG的逻辑复制不是“SQL”复制,而是复制SQL操作的结果。 逻辑复制的优势 在进行发布时,可以选择发布 insert 、 delete 、 update,比如只发布insert、不发布update、delete 一个数据库可以有多个发布,保证发布不重名即可,可同规格pg_publication查看 允许一次性发布所有表 一个发布允许有多个订阅者

2022-05-14

课程来自于 【大厂学苑】云原生视频课程(视频+资料+代码)

《拥抱云原生》是大厂学苑联合KubeSphere官方团队,为所有探索云原生生态体系的爱好者全力打造的一套系列课程。 本课程全程云上实战,很好地结合了微服务架构和云计算平台两者的优势,属于架构师必备课程。将从无到有搭建企业自己的私有云平台、包括DevOps平台。 覆盖Kubernetes、Jenkins、Istio、Jaeger、Prometheus、ELK等全套云原生方案,真正实现云上亿级流量永不宕机。 让大家站在架构师角度重新审视云原生时代,体验新一代架构思想ServiceMesh、Serverless带来的革命性变化。 声明:若由于商用引起版权纠纷,一切责任均由使用者承担。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

2022-05-14

ji-ke-shi-jian - 云原生 孟Fanjie

伴随云计算的滚滚浪潮,云原生(CloudNative)的概念应运而生,云原生很火,火得一塌糊涂,都0202年了,如果你还不懂云原生,那真的out了。 大家言必称云原生,却鲜少有人告诉你到底什么是云原生,若是找资料来看,读完大多会感觉云绕雾罩,一知半解,总之虚得很;甚至会让你一度怀疑自己的智商,不过我对于读不懂的文章,一律归因于写文章的人太蠢,当然这不一定是事实,但这样的思考方式能让我避免陷入自我怀疑的负面情绪。

2022-05-14

5种风格的年终总结PPT.zip

快到年终了,这个总结PPT献给各位看友,希望喜欢

2021-10-28

如何成为学习高手.zip

一个人最重要的能力,就是学习能力。因为,我们的一切技能、思维、解决问题的方法,全都是从学习得来。 一个人的学习能力,相当于 Ta 的系统配置。你的学习能力越强,也就是配置越高,无论是学习,还是工作,你越能快速高效地取得好的成绩和结果。 这个专栏可以教会你: 如何掌握考试思维,成为一个特别会考试的人; 如何用连点成线法,在15天内背下10多门专业课; 如何记住读过的每一本书; 如何在5分钟内摆脱拖延症; 一个人在家如何做到高度自律; 如何利用科学方法,每天高效学习12小时; 如何快速学会新技能; 如何通过练习,让自己变得更聪明; …… 这套学习方法,接受过上百万人检验。你在学习中遇到的所有问题,都在这个专栏的射程范围之内。它会在相当大的程度上,改变你与学习相关的一切思维和习惯!

2021-10-28

软考资料-数据库中级工程师.zip

软考资料-数据库中级工程师包括 最新版本教材和历年真题详解

2021-10-27

非常清晰的flink 课程代码demo.zip

FlinkExample.zip 非常清晰的flink 课程代码demo

2021-10-27

数据采集之Flume.xmind

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 Apache Flume是Apache软件基金会(ASF)的顶级项目 Event是Flume定义的一个数据流传输的最小单元。Agent就是一个Flume的实例,本质是一个JVM进程,该JVM进程控制Event数据流从外部日志生产者那里传输到目的地(或者是下一个Agent)。 提示 学习Flume必须明白这几个概念,Event英文直译是事件,但是在Flume里表示数据传输的一个最小单位(被Flume收集的一条条日志又或者一个个的二进制文件,不管你在外面叫什么,进入Flume之后它就叫event)。参照下图可以看得出Agent就是Flume的一个部署实例, 一个完整的Agent中包含了必须的三个组件Source、Channel和Sink,Source是指数据的来源和方式,Channel是一个数据的缓冲池,Sink定义了数据输出的方式和目的地(这三个组件是必须有的,另外还有很多可选的组件interceptor、channel selector、sink processor等后面会介绍)。

2021-09-11

mysql-libs-5.1.73-3.el6_5.x86_64.rpm

启动postfix时报错: Please specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directoryPlease specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory 安装 rpm -ivh mysql-libs-5.1.73-3.el6_5.x86_64.rpm 解决

2020-08-18

GreenPlum 数据库failover mster切standby.pptx

在master节点下 # 切换用户 su - gpadmin # 停止master pg_ctl stop -s -m fast -D  $MASTER_DATA_DIRECTORY 或者 pg_ctl stop -s -m fast -D /data/master/gpseg-1 返回信息:server stopped 查看standby节点状态(master节点执行) gpstate -f

2020-07-09

ncurses-6.1.20180407-alt2.src.rpm

htop依赖包,htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

htop-2.2.0.tar.gz

htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

greenplum-loaders-4.3.27.0-WinXP-x86_32.msi

gpfdist是一个使用HTTP协议的文件服务器程序,它以并行的方式向Greenplum数据库的Segment供应外部数据文件一个gpfdist实例,每秒能供应200MB并且很多gpfdist进程可以同时运行,每一个供应要被装载的数据的一部分。当使用者用INSERT INTO SELECT * FROM 这样的语句开始装载时,INSERT语句会被Master解析并且分布给主Segment。Segment连接到gpfdist服务器并且并行检索数据,解析并验证数据,从分布键数据计算一个哈希值并且基于哈希键把行发送给它的目标Segment。每个gpfdist实例默认将接受最多64个来自Segment的连接。通过让许多Segment和gpfdist服务器参与到装载处理中,可以以非常高的速率被装载。

2020-04-30

Redis基础.pptx

redis基本原理,以问答形式展开。有助于深入理解redis。

2020-02-28

很有用的述职报告.pptx

年底了,该交述职报告了,年底绩效考核该如何得分。。

2019-11-18

【批量下载】jvisualvm安装Visual GC插件等.zip

GC调优步骤: 1、打印GC日志 -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps  -XX:+PrintGCDateStamps  -Xloggc:./gc.log Tomcat则直接加在JAVA_OPTS变量里 2、分析日志得到关键性指标 3、分析GC原因,调优JVM参数

2019-09-24

4.-Greenplum-数据库架构介绍.pdf

Greenplum是一个分布式数据库系统,因此其所有的业务数据都是物理存放在集群的所有Segment实例数据库上;在Greenplum数据库中所有表都是分布式的,

2019-08-30

Greenplum企业应用实战.pdf

分布式数据库 Green Plum。 企业实战。你值得拥有!!!!!!!!!!!!!

2019-07-17

ethereal-setup-0.99.0.rar

利用分組嗅探器 ethereal(wireshark)分析HTTP 和DNS

2019-05-09

万能的连接工具DBeaver

万能的连接工具DBeaver dbeaver-ce-5.0.0-win32.win32.x86_64 (1).zip

2018-09-03

GPCC的安装包

GPCC的安装包 greenplum-cc-web-2.0.0-build-32-RHEL5-x86_64.zip

2018-09-03

框架完整简洁实用个人述职报告PPT

框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT

2017-11-09

spring最有学习价值的Demo(springmvc-master)

spring最有学习价值的Demo(springmvc-master)spring最有学习价值的Demo(springmvc-master)

2017-11-04

gcc mankefile -目录大全

linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!! linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!!

2017-10-19

Hadoop2.x大数据平台

(1) HDFS 2.0应用场景、原理、基本架构及使用方法.pdf (2) HDFS 2.0实战—Shell命令使用.pdf (3) Understanding_Hadoop_Clusters_and_the_Network.pdf 《 HDFS应用场景、部署、原理与基本架构》作业.pdf 《 YARN应用程序设计方法》作业.pdf 《MapReduce 2.0程序设计(涉及多语言编程)》作业.pdf 《MapReduce 2.0应用场景、原理与基本架构》作业.pdf MapReduce 2.0程序设计(涉及多语言编程)-理论部分.pdf MapReduce 2.0程序设计(涉及多语言编程)-实战部分.pdf

2017-10-19

strtus一个简单的例子

一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子

2017-10-12

makefile的使用

2016-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除