qq_36382679的博客

原创 FlinkOnYarn的执行流程

1 Flink任务提交后，Client向HDFS上传Flink的Jar包和配置2 向Yarn ResourceManager提交任务3 ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster4 ApplicationMaster启动后加载Flink的Jar包和配置构建环境5 启动JobManager之后ApplicationMaster向ResourceManager申请资源启动TaskManager6 ResourceMa

原创 连续7天登录MySQL求解

Ptypora-copy-images-to: imgtypora-root-url: img1 建表语句SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for sqllevel7-- ----------------------------DROP TABLE IF EXISTS `orde`;CREATE TABLE `orde` ( .

原创 spark的执行流程图解

原创 kafka事务使用和编程示例

kafka事务使用和编程示例一、概述​ Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。注意：kafka事务和DB事务。在理解消息的事务时，一直处于一个错误理解是，把操作db的业务逻辑跟操作消息当成是一个事务，如下所示：void kakfa_in_tranction(){ // 1.kafa的操作：读取消息或生产消息 kafkaOperation(); // 2.db操作 dbO

原创 redis的持久化

redis的持久化​ 我们知道, redis是将数据存储在了内存当中, 那么当关闭服务器, 内存的资源也就会消失了, 这时存储在redis中的数据也会消失, 那么我们应该如何做呢?在redis中已经提供了两种持久化的方案RDB: redis提供的一种基于快照机制实现的持久化方案, 而快照就类似于照相机, 会将一个服务器某个时刻的一个状态整体保存下来, 快照文件一般都非常的小,只有几kb左右优点: 由于持久化的文件非常小, 适合于做灾难恢复缺点: 由于redis中持久化的时机问题, 会存在数据

原创 Redis中的分布式缓存--第二版本

原创 flink广播变量累加器和分布式缓存的使用

原创 spark-submit

原创 决策树中信息熵 信息增益 属性熵 C4.5算法的计算过程

原创 HBase Observer协处理器

HBase Observer协处理器RegionObserver允许您观察 Region上的事件 ，例如Get和Put操作。RegionServerObserver允许您观察 与RegionServer操作相关的事件 ，例如启动，停止或执行合并，提交或回滚。MasterObserver允许您观察 与HBase Master相关的事件 ，例如表创建，删除或schema修改。WalObserver允许您观察 与预写日志（WAL）相关的事件 。Observer 类似

原创 通过HBase的协处理器(coprocessor)和solr构建二级索引

通过HBase的协处理器(coprocessor)和solr构建二级索引1 maven的pom文件的配置<!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 --> <repositories> <repository> <id>aliyun</id> <url>http://maven.aliyun.com/nexus/content/

原创 HBase和ElasticSearch整合构建二级索引

HBase和ElasticSearch整合构建二级索引1 maven的pom文件的配置 <dependencies> <!--es客户端--> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId>