- 博客(23)
- 收藏
- 关注
RSS订阅原创 Flink--Transform(键控流转换算子)
若现做聚合操作，必须先分组，所以keyby很重要keyby算子比较特使，并不是一步具体的执行操作不是真正意义上的 aoprete它就是定义了一下两个任务之间数据的传输模式keyby 基于定义的key做分组基于每个key的hashcode 进行一个重分区当同一个key进行重分区的时候必然会放入带同一个分区。当前分区一定有这个key的所有数据。同一个分区可以有多种keykeyby的转换涉及到一个数据结构的专转换datastream == keyedStream这个 keyedStream
2021-12-07 15:04:33
232
原创 Flink--Transform(简单转换算子)
简单转换算子FLink中的简单转换算子 包含 map flatmap fiter他们有一个共同的特点就是 1 to 1 类似于spark窄依赖Map输入一个 按照转换规则 输出一个 //创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //读取一个list并转换为datastream val intList = List(1,2
2021-11-29 15:49:13
1131
原创 Flink--Souce(自定义)
我们可以做自定义的souces系统已经开发出来，但是没有现成的数据。另外和kafak是一对，若想从其他地方读取数据，如mysql hive，但是他们 中都是有界的数据，批处理更适合。sourcefunction 没有具体的实现，需要自己去定义类SouceFunction[T] 泛型是想要输出的数据的类型其中 SourceContext [T]上下文中的一个方法 collect [T]方法需要传入一个参数，然后把参数发出去。所以这里泛型设置为 SensorReading然后重写父类方法定义一
2021-11-28 06:36:37
548
原创 Flink--Source(Kafka)
从kafka读取数据依赖kafka和flink是非常契合的。若flink想和kafka建立连接，需要导入新的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version></
2021-11-26 14:00:31
1745
原创 Flink--Source(集合，文件)
从集合、文件中读取数据基于Flink快速，灵巧，实时性高的特点以温度传感器的数据采集为场景做练习。------集合------第一步:定义传感器样例类case class SensorReading(id:String,timeStamp:Long,temperature:Double)第二步:创建执行环境（流式数据）val env = StreamExecutionEnvironment.getExecutionEnvironment第三步:定义数据源集合val sensorList
2021-11-26 09:41:13
1036
原创 Flink--Environment
获取当前程序的上下文批处理：val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment流处理：val env = StreamExecutionEnvironment.getExecutionEnvironment这里涉及不同的底层实现。在idea和生产环境中的执行环境是不同的getExecutionEnvironment底层会自动帮我们判断是本地环境还是集群生产环境然后以此调用：//本地执行
2021-11-26 08:56:35
508
原创 Flink--流处理API划分
流处理API划分算子操作一共分为三大部分。首先是执行环境：enviromentsource:读取数据输入transform：做转换计算sink:做输出
2021-11-26 08:43:43
438
原创 Flink--流处理HelloWold
流处理HelloWold第一步： 创建流处理执行环境val env:StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment同样的需要导包，根据批处理的经验直接import org.apache.flink.streaming.api.scala._第二步： 接受Socket文本流为了实现流式数据的发送需要nc工具。首先代码中监控一个端口：val inputDataStream:DataSt
2021-11-26 08:36:20
223
原创 Flink--批处理HelloWorld
批处理WordCount第一步：创建批处理执行环境ExecutionEnvironment.getExecutionEnvironment然后这里需要import:import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.java.ExecutionEnvironment注意：使用scala api又需要引入java东西，所有很多类名称一样，所以引入的时候要注意引入的名称。这里引入scala
2021-11-26 07:58:24
873
原创 Flink--maven工程搭建
Pom文件scala版本：2.12.11<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd
2021-11-26 07:37:49
921
原创 MySQL数据库--锁机制
锁机制锁的分类从锁的操作类型分读锁(共享锁) 针对于同一份数据，多个读操作可以同时进行而不会互相影响写锁(排它锁) 当前写操作没有完成前，它会阻断其他写锁和读锁从对数据操作的粒度分表锁偏向于Myisam存储引擎，开销小，加锁快，无思索，锁定粒度大建表sqlcreate table mylock(id int not null primary key auto_increment,name varchar(20)) engine myisam;insert into mylo
2020-06-22 16:25:22
188
原创 MySQL数据库--查询截取分析
查询截取分析分析:1.观察，至少跑一天，看看生产的SQL的情况2.开启慢查询日志，设置阀值3.explain+慢sql分析4.show profile 分析力度更强5.运维经理或dba进行sql数据库服务器的参数调优小表驱动大表数据库最伤神的就是进行连接和释放当A数据集的量大于B数据集的量时使用inselect * from a where id in (select id from b)相当于：for select id from bfor select * from a wh
2020-06-22 16:24:24
252
原创 MySQL数据库--索引优化分析
索引优化分析性能下降(执行时间长,等待时间长)查询语句写的烂索引失效 create index idx_user_name on user(name) 做索引之前是杂乱无章的，做之后是有顺序的 单值索引 某表的某个字段做的索引 create index idx_user_nameEmail on user(name,email) 复合索引 某表的多个字段做的索引关联查询有太多的join （设计缺陷或不得已的需求）服务器调优及各个参数的配置（缓冲，线程数等） 常见
2020-06-22 16:23:33
226
原创 MySQL数据库--架构介绍
架构介绍1.mysql简介完整的mysql优化需要很深的功底，sql易学难精mysql内核sql优化工程师mysql服务器的优化各种参数常量设置查询语句优化主从复制软硬件升级容灾备份sql备份2.Linux版的安装安装下载 选择 GA稳定版 client 和 server 都需要下载第三方软件安装在opt目录下检查是否安装给mysql: rpm -qa|grap -i mysql装过就暴露出软件名，没装就是空的liunx开发;不用中文，不用空格安
2020-06-22 16:21:00
244
原创 MySQL数据库--存储过程和函数
存储过程和函数存储过程存储过程和函数：类似于方法，好处: 提高代码的重用性， 简化操作 减少了编译次数并且减少了和数据库服务器的连接次数，提高了效率存储过程:一组预先编译号的sql语句的集合，理解成批处理语言注意: 参数列表包含三部分:参数模式，参数名，参数类型 参数模式: in:该参数修饰的参数可以作为输入，需要传值 out:该参数可以作为输出，也就是该参数可以作为返回值 inout:该参数既可以作为输入，又可以作为输出，也就是既需传入，又可返回值。 若存储过程仅
2020-06-22 16:11:20
197
原创 MySQL数据库--TCL语言
TCL语言的学习 tiansaction contro languge 事务控制语言事务 一个或一组sql语句组成一个执行单元，这个执行单元要么全部执行，要么全部不执行 事务由单独单元的一个或多个SQL语句组成，在这个单元中，每个msql语句是相互依赖的。存储引擎 概念：在mysql中的数据用各种不同的技术存储（表类型）在文件（内存）中， show engines:来查看存储引擎 类型： Myisam：不支持 Innodb：支持事务 memory ：不支持事务
2020-06-22 16:09:57
383
原创 MySQL数据库--DDL语言
DDL语言学习 data define languge 数据定义语言 库和表的定义和管理一：库的管理1.库的创建语法： create database 表名； case1 创建books库 create database books; 若库已存在则报错提高容错性语法 create database if not exists 表名；2.库的修改库的话一般来说不修改，导致整个库的数据出现丢失。rename database books to 新库名
2020-06-22 16:07:52
137
原创 MySQL数据库--DML语言
DML语言学习 data Manipulation languge 数据操作语言 增删改插入语言语法：方式一： insert into 表名（列名，…） values (值1，…); 1.要求插入值的类型要与列的类型一致或兼容 insert into beauty (id,name,sex,borndate,phone,photo,boyfriend_id) values(14,‘唐艺昕’,‘女’,‘1989-1-1’,‘17688888888’,null,‘5’); 2.不
2020-06-22 16:05:51
126
原创 MySQL数据库--DQL语言
MYSQL一、为什么要学数据库保存数据的容器： 数组 （存到内存中） 集合 （存到内存中） 文件（存没问题，但是不太适合查询） 故需要一套管理系统去管理里边的数据数据库的好处：实现数据持久化使用完整的管理系统统一管理，易于查询数据库的相关概念： DB: database 存储数据的仓库，保存了一系列有组织的数据（Mysql,Oracle贵,DB2，SQLServer(只能在windows下)） DBMS:Database management system
2020-06-22 16:03:29
276
原创 Java学习:面向对象编程-1
面向对象概述面向对象学习的主线1.Java类及类的成员属性方法构造器代码块内部类2.面向对象的三大特征封装性继承性多态性抽象性 (若提起三大特性，则前三个，若四大特性，则再加一抽象性)3.其他关键字thissuperstaticfinalabstractinterfacepackageimport面向过程和面向对象的对比面向过程:强调的是功能行为，以函数为最小单位，考虑怎么做。面向对象:强调具备了功能的对象，以类/对象为最小单位，考虑谁
2020-06-20 15:58:40
493
原创 数据库学习：MongoDB数据库
MongoDB数据库介绍介绍MongoDB是一个文档数据库，它保存的文档是由成对字段和值组成的数据结构，而字段对应的值可以包括其他文档，数组等,文件存储格式为BSON (JSON的一种) 如{name:"MongoDb",class:"NoSQL",groups:["Redis", "MongoDB","HBase"],structure:{"structure_1":{"struct...
2019-11-09 15:23:00
175
原创 爬虫学习:登录GitHub
爬虫学习:登录GitHub目标:使用Requests包实现GitHub的登录1.## 确定表单参数多次抓包对比表单参数commit: Sign inutf8: ✓authenticity_token: sO34KvtovZgqSKQsVIkEdWbwX6ykeuzCMxuZbWul6wUmlpz/3Hc4SaeuRB5WEWbL1JbkgYL3r9Na1ivFxM+o+w==ga_i...
2019-11-06 18:45:10
757
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人