数据库
爱玛士
这个作者很懒,什么都没留下…
展开
-
阿里架构师直通车:Netty+NIO+Redis+Kafka共计13.62G,一键入职
前言在2020年,Java仍然是世界上最流行的编程语言之一。它拥有一个巨大的生态系统,在全世界有超过1000万Java开发人员。Java框架允许您关注应用程序的业务逻辑,而不是编写数据库连接或处理异常等基本功能。此外,如果您有Java方面的经验,您可以快速入门。这些框架都使用相同的语法,使用相似的术语、范例和概念。了解过Java架构的小伙伴一定都知道Netty+NIO+Zookeeper+Kafka+Redis这几种架构师必学的开源框架以及数据库吧。本文主要分为五个部分,那就先从J...原创 2020-06-23 19:03:39 · 1032 阅读 · 0 评论 -
Kafka全网最详细原理总结,奇怪的知识又增加了,自己看看就好
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。1.前言消息队列的性能好坏,其文原创 2020-06-03 20:41:41 · 755 阅读 · 0 评论 -
Flink中的一些核心概念,深度剖析新一代Flink计算引擎
概念1.程序和数据流并行数据流任务和操作员链2.分布式执行工人、职位、资源3.时间与Windows时间4.状态与容错容错检查点状态后端5.批量上流程序和数据流Flink程序的基本组成部分是溪流和变换(注意,数据集在内部也是流)。一个溪流是一个中间结果,而转化是一种以一个或多个流作为输入并从其中计算一个或多个结果流的操作。执行时,Flink程序被映射到流数据流,由溪流与转型操作者。每个数据流从一个或多个开始。来源并以一个或多个结尾汇。数据流可能...原创 2020-06-03 20:27:29 · 423 阅读 · 0 评论 -
Flink:把状态State全都扒光,远走他乡:State初始,广播状态
Statechu初始:State是指流计算过程中计算节点的中间计算结果或元数据属性,比如 在aggregation过程中要在state中记录中间聚合结果,比如 Apache Kafka 作为数据源时候,我们也要记录已经读取记录的offset,这些State数据在计算过程中会进行持久化(插入或更新)。所以Apache Flink中的State就是与时间相关的,Apache Flink任务的内部数据(计算数据和元数据属性)的快照。State分类:Keyed State和Operator Sta.原创 2020-06-03 20:24:04 · 1508 阅读 · 0 评论 -
过了这么久,我终于看懂了HBase,太不容易了QAQ
前言在我还不了解分布式和大数据的时候已经听说过HBase了,但对它一直都半知不解,这篇文章来讲讲吧。在真实生活中,最开始听到这个词是我的一场面试,当年我还是个『小垃圾』,现在已经是个『大垃圾』了。面试官当时给了一个场景题问我,具体的题目我忘得差不多了,大概就是考试与试题的一个场景,问我数据库要如何设计。我答了关系型数据库的设计方案,他大概说:这个场景比较复杂多变,为什么不考虑一下HBase这种NoSQL的数据库来存储呢?我就说:“对对对,可以的” (虽然我当时不知道HBase是...原创 2020-06-03 20:21:43 · 641 阅读 · 0 评论 -
一文拿到MapReduce+kafka+Flink17G视频教程,程序员:爽的一匹
前言在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。了解过大数据的小伙伴一定都知道MapReduce,kafka,Flink这三种很热门的流式计算框架吧既然大家已经知道了MapReduce,kafka,Flink对于学好大数据的重要性,就缺少对...原创 2020-06-03 13:39:20 · 708 阅读 · 0 评论 -
江湖上流传的谷歌三宝是什么?GFS,MapReduce,还有一个很重要
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)!谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机学会推荐会议里属于A类。SOSP在单数年举办,而OSDI在双数年举办。那么这篇博客就来介绍一下GFS,MapReduce,BigTable。谷歌技术"三宝"之谷歌文件系统题记:初学分布式文件系统,写原创 2020-05-30 14:58:12 · 3275 阅读 · 0 评论 -
还觉得linux命令难吗,看这篇2w多字的linux命令详解,通俗易懂
序言 本篇文章主要讲解了一些linux常用命令,主要讲解模式是,命令介绍、命令参数格式、命令参数、命令常用参数示例。由于linux命令较多,我还特意选了一些日常使用较为频繁的命令进行讲解,但还是免不了文章很长,建议大家收藏起来,用到的时候不会了再来阅读。当然学习linux命令最好的方法是学会使用linux自带的man手册,所有linux命令规范和使用细则都会在该手册中讲解的很清楚,我在书写的过程中也是参考该手册和日常使用情况。如果还有哪些是大家希望再补充的命令,可以留言给我,我会持续更新该...原创 2020-05-26 14:15:57 · 4129 阅读 · 2 评论 -
腾讯T4主管跳槽后,写出《Linux企业运维实战》,老板:给我看看
前言本书系统地论述了Linux运维领域的各种技术,主要内容包括最新版Linux系统安装的完整过程、系统启动原理、系统必备的命令、系统管理、初学者必备软件管理、基础服务实战、生产环境LAMP、Redis实战及备份、性能优化、Zabbix企业级分布式监控、Nginx高性能Web服务器实战及Nginx相关location、rewrite规则、日志分析实战、Nginx性能调优、自动化运维技术实战、shell编程入门、shell编程企业实战案例剖析、shell编程企业案例详解、Puppet、Ansibl...原创 2020-05-25 22:21:49 · 790 阅读 · 2 评论 -
为什么阿里巴巴这么喜欢Flink? Flink基本原理介绍,看完你也爱
Flink介绍:很多人可能都是在 2019 年才听到 Flink 这个词,其实早在 2008 年,Flink 的前身已经是柏林理工大学一个研究性项目, 在 2014 被 Apache 孵化器所接受,然后迅速地成为了 ASF(Apache Software Foundation)的顶级项目之一。Flink 的最新版本目前已经更新到了 0.10.0 了,在很多人感慨 Spark 的快速发展的同时,或许我们也该为 Flink 的发展速度点个赞。Flink 是一个针对流数据和批数据的分布式处理引擎...原创 2020-05-21 16:59:25 · 396 阅读 · 0 评论 -
分享:Python绘制六种常见可视化图表,总有一款类型适合你的风格
可视化图表有很多种,这篇文章主要介绍了Python绘制六种可视化图表详解的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下可视化图表,有相当多种,但常见的也就下面几种,其他比较复杂一点,大都也是基于如下几种进行组合,变换出来的。对于初学者来说,很容易被这官网上众多的图表类型给吓着了,由于种类太多,几种图表的绘制方法很有可能会混淆起来。因此,在这里,我特地总结了六种常见的基本图表类型,你可以通过对比学习,打下坚实的基础。01. 折线图绘制折线图,如果你数据不是很多的话,画出来的图将原创 2020-05-21 16:55:04 · 1526 阅读 · 0 评论 -
Flink 最锋利的武器:Flink SQL 入门和实战带你了解NBA球星数据
一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015 年开始,阿里巴巴开始调研开源流计算引擎,最终决定基于 Flink 打造新一代计算引擎,针对 Flink 存在的不足进行优化和改进,并且在 2019 年初将最终代码开源,也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。Flink SQL 是面向用户.原创 2020-05-20 16:51:03 · 966 阅读 · 1 评论 -
Zdal分库分表:支付宝是如何在分布式环境下完爆数据库压力的?
Zdal是支付宝自主研发的数据中间件产品,采用标准的JDBC规范,可以在分布式环境下看上去像传统数据库一样提供海量数据服务,是一种通用的分库分表数据库访问框架,解决单库单表数据库访问压力,Zdal主要提供分库分表,结果集合并,sql解析,数据库failover动态切换等功能,提供互联网金融行业的数据访问层统一解决方案,目前已经在支付宝的交易,支付,会员,金融等大部分关键应用上使用,并且在2019双11大促中运行稳定。系统目标1.数据访问路由,将针对数据的读写请求发送到最合适的地方。2.数据存储的原创 2020-05-20 16:49:08 · 739 阅读 · 0 评论