分布式
大数据技术之路---花火
这个作者很懒,什么都没留下…
展开
-
Dubbo 详解
Dubbo 分层Dubbo 是一款高性能 Java RPC 架构。它实现了面向接口代理的 RPC 调用,服务注册和发现,负载均衡,容错,扩展性等等功能。Dubbo 大致上分为三层,分别是: 业务层 RPC 层 Remoting 层 Dubbo 的三层结构从上图中可以看到,三层结构中包含了 Dubbo 的核心组件。他们的基本功能如下,对于比较常用的...原创 2019-12-11 10:58:23 · 221 阅读 · 0 评论 -
Redis 分布式锁
前言分布式锁一般有三种实现方式:1. 数据库乐观锁;2. 基于Redis的分布式锁;3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客,然而他们的实现却有着各种各样的问题,为了避免误人子弟,本篇博客将详细介绍如何正确地实现Redis分布式锁。可靠性首先,为了确保分布式锁可用,我们至少...原创 2019-11-22 10:30:44 · 98 阅读 · 0 评论 -
RPC 框架原理详解
RPC非常重要,很多人面试的时候都挂在了这个地方!你要是还不懂RPC是什么?他的基本原理是什么?你一定要把下边的内容记起来!好好研究一下!特别是文中给出的一张关于RPC的基本流程图,重点中的重点,Dubbo RPC的基本执行流程就是他,RPC框架的基本原理也是他,别说我没告诉你!看了下边的内容你要掌握的内容如下,当然还有很多: RPC的由来,是怎样一步步演进出来的; ...原创 2019-11-22 10:22:40 · 270 阅读 · 0 评论 -
ebay百万TPS支付账务系统的设计与实现
导读2018年,ebay全面展开了下一代百万TPS支付账务系统的设计与实现。本文主要介绍核心账务系统的性能和容灾能力,将从账务系统简介、百万TPS压测实验、系统架构分析、开源计划四个方面进行阐释。希望能给同业人员一定启发和借鉴。1. 序亿贝 (www.ebay.com) 于2018年全面展开了下一代支付系统的设计和实现。支付宝的双十一和微信财付通的春节红包已经向世界展示了支付行业...原创 2019-11-11 10:10:44 · 747 阅读 · 0 评论 -
首次公开:京东数科强一致、高性能分布式事务中间件 JDTX
本文来源于 infoq,原文链接:https://www.infoq.cn/article/BAXzcfjRTcgmKisa7JHm?from=groupmessage&isappinstalled=0在分布式数据库、云原生数据库、NewSQL 等名词在数据库领域层出不穷的当今,变革——在这个相对稳定的领域已愈加不可避免。相比于完全革新,渐进式增强的方案在拥有厚重沉淀的行业...转载 2019-11-05 11:01:01 · 975 阅读 · 0 评论 -
分布式事务
什么叫分布式事务?高可用是指系统无中断的执行功能的能力,代表了系统的可用程度,是进行系统设计时必须要遵守的准则之一。而高可用的实现方案,无外乎就是冗余,就存储的高可用而言,问题不在于如何进行数据备份,而在于如何规避数据不一致对业务造成的影响。对于分布式系统而言,要保证分布式系统中的数据一致性就需要一种方案,可以保证数据在子系统中始终保持一致,避免业务出现问题。这种实现方案就叫做分布...原创 2019-10-23 10:23:19 · 133 阅读 · 0 评论 -
hbase学习教程(一):hbase的概述和hbase架构及基本组件
一、hbase的概述概述HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,原创 2017-09-28 23:12:30 · 8430 阅读 · 1 评论 -
hive学习教程(二):hive的数据类型和hive的数据模型
四、hive的数据类型Hive支持两种数据类型,一类叫原子数据类型,一类叫复杂数据类型。 原子数据类型包括数值型、布尔型和字符串类型,具体如下表所示: 基本数据类型 类型 描述 示例 TINYINT 1个字节(8位)有符原创 2017-08-29 19:54:40 · 492 阅读 · 0 评论 -
Hive学习教程(一):hive的介绍和hive技术架构
一、hive的介绍1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。2.Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了原创 2017-08-29 19:47:49 · 664 阅读 · 0 评论 -
zookeeper安装教程(伪分布式和分布式)
伪分布式创建环境目录 ~ mkdir /home/conan/zoo/zk1 ~ mkdir /home/conan/zoo/zk2 ~ mkdir /home/conan/zoo/zk3新建myid文件 ~ echo “1” > /home/conan/zoo/zk1/myid ~ echo “2” > /home/conan/zoo/zk2/myid ~ echo “3” > /ho原创 2017-08-28 22:05:53 · 1086 阅读 · 0 评论 -
hadoop分布集群搭建
主机名 IP Itcast 132 namenode zkfc Itcast02 138 datanode nodemanager zookeeper journalenode itcast03 130 datanode nodemanager zookeeper journalenode Itcast04 139原创 2017-08-28 22:45:14 · 582 阅读 · 0 评论 -
hadoop伪分布式集群搭建
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1原创 2017-08-28 22:33:09 · 309 阅读 · 0 评论