godkzz的博客

一、SETNX在Redis中一般会使用setnx命令实现分布式锁。当使用setnx命令设置一个kv时如：setnx lockKey lockValue当lockKey存在时，会返回1时表示设置成功。当lockKey不存在时，会返回0时表示设置值失败。根据以上理论就可以实现redis的分布式锁:加锁第一版：只使用setnx，这种方式的缺点是容易产生死锁，因为有可能忘记解锁，或者解锁失败。setnx key value第二版：给锁增加了过期时间，避免出现死锁

一、微服务没有正常获取XID检查方法：在每个微服务中调用方法 RootContext.getXID() 检查XID例如，服务A调用了服务B和服务C那么可以分别在服务A、服务B、服务C的事务方法中添加===============服务A@Servicepublic class ServiceAImpl implements IServiceA{ private static final Logger log = LoggerFactory.getLogger(Serv

1.检查jdbc驱动版本和mysql版本是否一致2.检查jdbc连接地址是否正确有可能是因为版本问题，连接地址参数中没有加上时区：jdbc:mysql://127.0.0.1:3306/ry-seata?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B83.检查driverClassN..

一、读取数据存到 MySQL1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000mysql> create database oracle;mysql> use oracle;mysql> create table student(id int,name varchar(20));2.编写 datax 配置文件[oracle@hadoop102 ~]$ vim /opt/module/datax/job

一、读取MySQL 中的数据存放到 HDFS官方模板[atguigu@hadoop102 ~]$ python /opt/module/datax/bin/datax.py -r mysqlreader -w hdfswriter{ "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "column": [], "connection": [ { "jdbcUrl": [], .

一、查看配置模板[atguigu@hadoop102 bin]$ python datax.py -r streamreader -w streamwriterDataX (DATAX-OPENSOURCE-3.0), From Alibaba !Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.Please refer to the streamreader document: https://github.com/ali

一、DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。 设计 为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路， DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要 将此数据源对接到 DataX，便能跟已有

一、生产者1.分区策略 分区的原因 （1）方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic 又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了。（2）可以提高并发，因为可以以 Partition 为单位读写了。 分区的原则 我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。（1）指明 partition 的情况下，直接将指明的值直接作为 p.

Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。 topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次...

一、定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。二、消息队列 使用消息队列的好处 1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据流经过系统的速度，解决生产...

一、环境准备在pom中添加依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version></dependency><dependency> <groupId>org.apache.hbase</gro

一、写流程（1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server（2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey， 查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以 及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问（3）与目标 Region .

一、HBase 定义HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。二、HBase 数据模型逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。 但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。三、HBase 逻辑结构四、HBase 物理存储结构五、数据模型（1）Name Space 命名空间，类似于关系型数据库的 Data.

Flume Agent 内部原理（1）ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型， 分别是 Replicating（复制）和 Multiplexing（多路复用）。ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相应的原则，将不同的 Event 发往不同的 Channel。（2）SinkProcessor...

一、Flume 定义 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。基础架构（1）AgentAgent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。Agent 主要有 3 个部分组成，Source、Channel、Sink。（2）SourceSource 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种...

一、Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项

一、数据导入1.向表中装载数据（Load）语法load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)]（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表（3）inpath:表示加载数据的路径（4）overwrite:表示覆盖表

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。一、分区表基本操作1.引入分区表（需要根据日期对日志进行管理）/user/hive/warehouse/log_partition/20170702/20170702.log/user/hive/warehouse/log_partit.

一、创建表1.建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORT

一、基本数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。二、集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。三、案例 假设某表有如下一行，我们用JSON格式来...