芒果、不加冰-CSDN博客

原创 Hive调优相关总结

前言我们都知道Hive默认的执行引擎是MR，在没有对Hive执行引擎改造之前（如HDP的TEZ，Hive on Spark项目），我们对Hive的调优依然只能围绕Hive本身支持的如存储格式，压缩，参数，SQL语句等方面的优化做出考虑。存储与压缩关于Hive存储格式和压缩方式的选择和使用，这里就不再做介绍，请参考以前博客存储格式和压缩方式 Hive 调优参数因为Hive的默认执行引擎为MR，所以基于Hive的参数调优，主要还是MR的参数调优以及Hive客户端的一些设置 1.开启Hive map阶段及

2021-10-12 16:18:25 536

原创 Flume拦截器

需求定义两个拦截器，一个用于过滤不合法数据，一个用于区分日志类型。 ETL拦截器主要用于，过滤时间戳不合法和Json数据不完整的日志。日志类型区分拦截器主要用于，将启动日志和事件日志区分开来，方便发往Kafka的不同Topic。导入依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactI

2021-10-11 18:46:41 412

原创 MySql 知识点整理

1、什么是事务，事务有哪些特性，干什么用? 一个业务在进行多条增删改语句的操作，并且所有的操作要么执行完成，要么失败四大特性(ACID)：原子性（Atomicity）原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。保证在一个事务中多次SQL操作要么全都成功,要么全都失败. 一致性（Consistency）事务前后数据的完整性必须保持一致。隔离性（Isolation）事务的隔离性是指多个用户并发访问数据库时，一个用户的事务...

2021-09-23 20:06:43 157

原创 Flink——角色及安装部署

一、Flink 中的角色 Flink 也遵循主从原则，主节点为JobManager，从节点为TaskManager 1.1. Client 将任务提交到JobManager，并和JobManager进行任务交互获取任务执行状态。 1.2. JobManager 负责任务的调度和资源的管理。负责Checkpoint的协调过程。获取到客户端的任务后，会根据集群中 TaskManager 上 TaskSlot 的使用情况，为提交的任务分配相应的 TaskSlots 资源，并命令 TaskManager 启动

2021-09-01 22:22:08 616

原创 Flink——复杂事件(CEP)

1、概念 Flink CEP（Complex Event Processing）是在Flink上层实现的复杂事件处理库将数据流通过一定的规则匹配，然后输出用户想得到的数据， -底层通过equals()和hashCode()方法来比较和匹配事件 2、使用场景风控检测对用户异常行为模式、数据异常流向实时检测策略营销向特定行为的用户进行实时的精准营销运维监控监控设备运行参数，灵活配置多指标的发生规则 2、模式(Pattern) 模式的概念处理事件的规则，被叫做“模式”（Pattern）模式的

2021-09-01 21:54:47 1035

原创 Flink------优化

1、Flink 内存优化 1.1Flink 的内存管理开源的大数据框架基本上大多数都是基于 JVM 运行的，如 Hadoop、Spark、 Storm，但是基于 JVM 的内存管理机制往往存在着类似于内存溢出等问题，主要是因为创建的对象过多而超过 JVM 的最大堆内存限制，却没有被有效的回收掉，仅仅靠 JVM 所提供的各种垃圾回收机制很难解决内存溢出等问题。尤其是几十甚至上百 G 的内存应用时会生成大量对象，Java GC 可能会被反复触发，其中 Full GC 或 Major GC 的开销是非常大

2021-09-01 20:58:46 1094

原创 flume的应用场景

log4j +fastjson 模拟日志 log4j : 日志级别 INFO ,DEBUG,WARN,ERROR,FATAL log4j.appender.R.File={flume} #java 代码详情见 #lunix 环境下执行jar文件 java -jar jar包 /root/data/flume 配置文件名加路径 -----------------------flume --------------------------------------------------------------

2021-07-05 20:10:34 787 2

原创事务的应用及隔离级别

事务的四个特性(ACID) 原子性( A ) 一个事务要么完成，要么全部回滚，不可能出现只执行一部分。一致性( C ) 事务的执行不能破坏数据的完整性和一致性，并且事务的前后保持一直。隔离性( I ) 在并发的环境中，并发事务相互隔离、互不干扰。永久性( D ) 一旦事务被提交，数据库中对应的数据将永久的被保存，即使系统崩溃，只要能重启数据库，就能恢复数据。事务的隔里级别脏读在同一事务中，能够读到事务未提交的数据。不可重复读在同意事务中，对同一数据进行多次读取，会出现不同的结果。

2021-06-29 19:32:48 291

原创 JDBC的标准接口

jdbc访问数据库的流程加载jdbc驱动连接数据库发送SQL语句返回SQL运行结果四个常用的标准接口 1、Driver 接口作用：定义数据库驱动对象应该具备的一些能力。比如与数据库建立连接的方法的定义所有支持 java 语言连接的数据库都实现了该接口，实现该接口的类我们称之为数据库驱动类。在程序中要连接数据库，必须先通过 JDK 的反射机制加载数据库驱动类，将其实例化。不同的数据库驱动类的类名有区别。加载mysql驱动。 2、DriverManager 接口 1. jd

2021-06-29 19:08:46 1819

原创 Sqoop的用法

hdfs 和 mysql 相互导入和导出 ------------- hdfs---> mysql---------------- --建表 create table sqp_order( creat_date date, user_name varchar(20), total_volume decimal(10,2) ) ---全都导 sqoop export \ --connect jdbc:mysql://mch:3306/test \ --username root \ --password

2021-06-29 18:32:57 291

h1231233211的博客