- 博客(17)
- 收藏
- 关注
RSS订阅原创 Flink 从入门到实战
可以打包到集群中使用，使用的时候在jar包的后面跟上input路径以及output路径即可// 这个是 自动 ，根据流的性质，决定是批处理还是流处理// 批处理流， 一口气把数据算出来// 流处理，默认是这个 可以通过打印批和流的处理结果，体会流和批的含义// 将任务的并行度设置为2// 通过args传参}else {// 首先先对字符串进行切割，形成一个新的数组// 此处的1 指的是元组的第二个元素，进行相加的意思).sum(1);
2024-11-25 20:27:03
733
原创 mysql中redolog、binlog介绍
存储引擎是 MySQL 中直接与磁盘交互部分。也是存储引擎读写数据的最小单位，一个页里可以有一条或多条表记录。MySQL 中的存储引擎有很多种，比如 InnoDB、MyISAM、Memory 等。其中最常用的是 InnoDB。而 InnoDB 是 MySQL 中唯一能够完整支持事务特性的存储引擎，也是一个高性能的存储引擎。两段式提交」就发生在 InnoDB 中。缓冲池首先，关系型数据库是基于磁盘的，而非关系型数据库是基于内存的。
2024-11-25 20:21:15
968
原创 Kafka-Eagle监控 安装教程
Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。在生产过程中，想创建topic、查看所有topic、想查看某个topic 想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？
2024-11-11 20:23:47
813
原创 Spark单机模式以及测试
通过Anaconda 安装 ，因为这个软件不仅有python还有其他的功能，比单纯安装python功能要强大。Spark Python Shell 是一个交互工具，可以启动spark中的交互工具，里面可以写代码。安装这个软件的另一个好处：具有资源环境隔离功能，方便基于不同版本不同环境进行测试开发。conda install 包名：安装库包。base：Anaconda自带的基础环境。conda list：列举所有的包。安装完成之后，进行环境变量的刷新。刷新环境变量，并且做一个软链接。5、安装python。
2024-10-31 20:49:11
322
原创 kettle 如何将mysql表数据抽取导入到hdfs上 保姆级教程！！
kettle 如何将mysql表数据抽取导入到hdfs上 保姆级教程！！
2024-09-12 20:51:40
609
原创 kettle 将mysql的数据抽到HDFS上 报错（ Couldn‘t open file hdfs://bigdata01:9820/xx/xx.txt）不能浏览hdfs上的文件，解决办法
kettle,mysql,hdfs,数据转换，kettle 将mysql的数据抽到HDFS上 报错（ Couldn't open file hdfs://bigdata01:9820/xx/xx.txt）不能浏览hdfs上的文件。 只需修改一步，立刻解决！！
2024-09-12 20:06:28
384
原创 SQL面试题之----获得每日的最后一条数据（多种方法）
利用开窗函数 分组排序后 给每辆车每天的时间排个序(倒序) 取出序号为1的时间 即为最后一条数据。需求：车辆每天上传N条数据，要求获得每日最后一条数据，请用至少三种方式写出来。通过对车辆和当天日期(xxxx-xx-xx)进行分组 求出当日最后一条数据。
2024-09-10 20:48:56
289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人