MySQL中实现某时刻快照 事务的ACID特性原子性(Atomic): 事务中的多个操作，不可分割，要么都成功，要么都失败（All or Nothing）；一致性(Consistency): 事务操作之后, 数据库所处的状态和业务规则是一致的（比如a和b账户相互转账之后，总金额不变）；隔离性(Isolation): 多个事务之间就像是串行执行一样，不相互影响；持久性(Durability): 事务提交后被持久化到永久存储。隔离性1、级别READ UNCOMMITTED：可以读取未提交的数据，未提交的数据称为脏数据，所以又
Maxwell采集Mysql数据到Kafka Mysql设置修改/etc/my.cnf文件，开启binlog日志vim /etc/my.cnf添加一下配置①server-id=1②log-bin=mysql-bin 这个表示binlog日志的前缀是mysql-bin，以后生成的日志文件就是 mysql-bin.123456 的文件后面的数字按顺序生成，每次mysql重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。③binlog_format=row 这个表示binlog日志的级别为行级， binlog会记录每次操作后每行记
Kafka常用命令（2.6.x版本） 消费者组偏移量查看消费者组的偏移量情况sh kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --describe --group 组名设置消费者组的偏移量为最初sh kafka-consumer-groups.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --group 组名--topic 主题名--rese
Presto安装 下载安装包presto-server-0.271.tar.gzpresto-cli-0.271-executable.jarpresto-jdbc-0.271.jar下载链接：https://prestodb.io/download.html解压tar -zxvf presto-server-0.271.tar.gz设置配置文件在安装目录创建一个etc和data目录mkdir /opt/xxx/presto-server-0.271/etcmkdir /opt/xxx/pre
Hive优化 合并小文件set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 压缩格式进行shuffle中，数据的传输会产生很大的io，此时对map输出的文件进行压缩，能降低io，提高shuffle的效率set hive.exec.compress.intermediate=true;set hive.intermediate.compression.codec=org.apache.hadoop.io.compr
数仓指标体系 统一口径指标体系中最重要的是各个部门之间统一业务口径。在实际工作中我们往往会遇到这样的问题：1）A部门对于新用户的概念是首次下单并完成支付的用户；2）B部分对于新用户的概念是当日新注册用户；然后这两个部门都要统计每日新用户销售额，我们往往会对于一个需求写多个不同的逻辑来满足不同的部门。最后就导致老板看了这两个部门统计的数据后发现这些数据对不上。指标分层原子指标对事实表中的度量进行count、sum等简单聚合派生指标(原子指标+时间限定+修饰词)如：最近七天各个店铺的销售额原子指标：co
卸载并且重装Kafka 卸载Kafka连接Zookeeper客户端sh zkCli.sh -server 127.0.0.1:2181删除Kafka在ZK上的节点，如图所示，有consumers，admin，config，controller，brokers，controller_epoch等节点 rmr /path 安装Kafka去官网下载对应版本的压缩包 https://kafka.apache.org/downloads解压缩对应文件tar -zxvf kafka_2.12-2.6.0.tg
JavaAPI生产者连接Kafka之Bug记录 版本Kafka0.8.2.1BugJava生产者客户端连接不上Kafka解决kafka中的/config/server.properties配置文件中，把host.name注释给打开，并且附上当前虚拟机的ip地址
Hive编译流程 步骤Hive的编译主要经过以下几个步骤Parser（解析器）Semantic Analyzer（语义分析器）Logical Plan Gen（逻辑计划生成）Logical Optimizer（逻辑优化器）Physical Plan Gen（物理计划生成）Physical Optimizer（物理优化器）细节Hive SQL经过Parser变成AST（Abstract Syntax Tree抽象语法树）；AST经过Semantic Analyzer变成QB（Query Block查询
IDEA安装Scala开发环境 配置环境变量配置SCALA_HOME在Path中添加%SCALA_HOME%\bin;在cmd命令窗口输入scala验证是否配置成功在IDEA中下载Scala插件方法一1)打开此网址https://plugins.jetbrains.com/plugin/1347-scala/versions/eap，点击下载2)在IDEA中弹出的界面点击OK方法二在Settings中的Plugins中搜索scala，然后Install方法三以上方法下载很慢时，可以使用迅雷进行下载1)
维度建模-零售业务 业务场景：大型食品杂货连锁店，此连锁店由100个分布在5个不同的省份。每个商店都有完整的部门，包括杂货、冷冻食品、日常生活用品、肉类、农产品、烘烤商品、花卉、保健/美容产品等。每个商店包含被成为产品统一编号(SKU)的60000种不同的上架产品。选择业务过程对于零售商店来说，管理方面主要关注对订单、库存、销售产品的组织工作，目的是实现利润最大化。此时建模的业务过程就是零售交易 ，该数据可以体现商品是在哪几天、哪几个商店、处于何种环境中被销售的。声明粒度声明粒度时，尽量是此业务过程中最细的粒度，因为这
JAVA基础-数据结构 ListArrayList底层实现：数组扩容：每次扩容原来的1.5倍，通过Arrays.copyof方法扩容特点：线程不安全，查询块LinkedList底层实现：双向链表扩容：不需要扩容特点：线程不安全，增删块Vector底层实现：数组扩容：每次扩容原来的2倍特点：线程不安全SetHashSet底层是由HashMap维护的，value为一个空的Object对象TreeSet底层是由NavigableMap一样，value为一个空的Object对象MapHash
关注
