- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 2021-06-23
1章 Kafka概述1.1 定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1.2 消息队列1.2.1 传统消息队列的应用场景使用消息队列的好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据流经过系
2021-06-23 08:19:49
164
翻译 2021-06-22
学习目标：本地事务与分布式事务CAP定理分布式事务解决方案Seata使用第一章 分布式事务1.1 微服务分布式事务问题开发当中真实场景：首先，设想一个传统的单体应用（Monolithic App），通过 3 个 Module，在同一个数据源上更新数据来完成一项业务。很自然的，整个业务过程的数据一致性由本地事务来保证。随着业务需求和架构的变化，单体应用被拆分为微服务：原来的 3 个 Module 被拆分为 3 个独立的服务，分别使用独立的数据源。业务过程将由 3 个服务的调用
2021-06-22 08:32:24
345
原创 hbase 学习step
版本：V1.3第1章 HBase简介1.1 HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 HBase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。1.2.1 HBase逻辑结构1.2.2 HBase物理存储结构1.2.3 数据模型1）Name Space命名空间，类似于关系型数据库的Datab
2021-06-22 02:21:50
225
原创 mysql清理 安装前奏
yum remove mysql mysql-server mysql-libs compat-mysql51rm -rf /var/lib/mysqlrm /etc/my.cnfyum remove mysql mysql-devel mysql-server mysql-libs compat-mysql51yum -y install autoconf
2019-09-28 14:44:06
98
原创 Spark RDD的转换
RDD 表示只读的分区的数据集 RDD逻辑上是分区的，每个分区的数据是抽象存在的，计算的时候会通过一个compute函数得到每个分区的数据。从集合中创建RDD，Spark主要提供了两种函数：parallelize和makeRDD单值Value1 .map(func)案例：作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成2 .mapPartitions(fu...
2019-08-20 20:32:11
424
原创 Flume 企业案例之负载均衡和故障转移
案例使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3，采用FailoverSinkProcessor，实现故障转移的功能。）实现步骤0.准备工作在/opt/module/flume/job目录下创建group2文件夹[@hadoop102 job]$ cd group2/1.创建flume-netcat-flume.conf配置1个netcat...
2019-07-11 14:58:32
547
原创 Flume之企业开发案例-复制和多路复用
复制和多路复用1）案例需求使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。编辑配置文件创建flume-file-flume.conf# Name the components on this agenta1.sou...
2019-07-11 14:40:20
463
转载 Flume 之Source
Flume 之sourceSource详解现在介绍几种比较重要的SourceAvro Source监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。1.1. Avro Source属性说明!channels –!type – 类型名称，...
2019-07-09 20:01:17
192
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人