- 博客(50)
- 收藏
- 关注
RSS订阅原创 azkaban的安装
（2）进入/opt/soft/azkaba/azkaban-exec/plugins/jobtypes/修改。（3）进入修改/opt/soft/azkaba/azkaban-exec/conf/修改。（4）进入修改/opt/soft/azkaba/azkaban-web/conf/修改。九、登录网页http://192.168.91.11:8081。（1）进入opt/soft/mysql8修改。（5）修改mysql驱动。
2023-11-13 17:35:11
120
原创 快速灵敏的Flink2
分布式架构，有可能出现数据的乱序，窗口要关闭的时候，数据还没有到，那么窗口等一会再关闭，解决数据的迟到问题。允许处理迟到的数据。上面allowedLateness()之后，发现还有没到的，放在侧输出流。将迟到的数据放入侧输出流。
2023-11-08 00:20:29
162
原创 快速灵敏的 Flink1
/定义样例类//1、创建环境变量//设置并行步 1//2、加载数据源//4、输出，又叫下沉//模拟自定义数据源//(1)随机数,true一直生成随机数ctx.collect(SensorReading("随机数："+random.nextInt(),System.currentTimeMillis(),d))
2023-11-02 20:06:08
597
原创 Spark分布式计算原理
数据本地化 移动计算，而不是移动数据 保证一个Stage内不会发生数据移动在分区之间重新分配数据 父RDD中同一分区中的数据按照算子要求重新进入RDD的不同分区中 中间结果写入磁盘 有子RDD拉取数据，而不是由父RDD推送 默认情况下，shuffle不会改变分区数量Lineage：血统、依赖 RDD最重要的特征之一，保存了RDD的依赖关系 RDD实现了基于Lineage的容错机制依赖关系
2023-10-10 18:43:41
1084
原创 Spark基础
(1) 繁杂只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码(2) 处理效率低Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据 任务调度与启动开销大(3) 不适合迭代处理、交互式处理和流式处理(1) Job中间输出结果可以保存在内存，不再需要读写HDFS(2) 比MapReduce平均快10倍以上HadoopSpark类型分布式基础平台，包含计算、存储、调度分布式计算工具场景大规模数据集上的批处理迭代计算、交互式计算、流计算价格对机器要求低，便宜对内存有要求，相对较
2023-10-07 16:33:22
1129
原创 scala基础入门
scala与java有着相同的原始数据类型（Byte,Short,Int,Long,Float,Double,Char,Boolend,String）语法结构：if ( ){ } else if ( ){ } else { }AnyRef：表示引用类型的超类，对应java.lang.Object。（1）S插值器：允许将变量引用、表达式直接插入字面字符中。（4）拓展：Scala中值是多少取决于最后一个数据。Any：所有类型的超类（顶级类型）语法结构：while（）{ }（6）拓展：break。
2023-09-26 23:27:40
245
原创 flume安装及实战
tail -f ./flumelog.log 启动被监控文件。yum install -y telnet.* 安装telnet客户端。echo "aaaa" >> ./flumelog.log 输入文件，检测可以输入内容。yum install -y telnet-server 安装telnet服务端。服务端关闭，客户端也关闭。
2023-09-23 16:36:03
212
原创 Apache Flume
Apache Flume是一个分布式、可靠且可用的系统，用于高效地收集、聚合来自许多不同来源的大量日志数据，并将其移动到集中的数据存储中。Apache Flume是Apache软件基金会的一个顶级项目。目前有两个可用的发布代码行，版本0.9.x和1.x。此文档适用于1.x代码行。有关0.9.x代码行，请参阅Flume 0.9.x开发人员指南。
2023-09-22 23:49:35
1148
原创 kafka消费者模式
topic：kb23 partition：2 偏移量：4 value：sjhkdksahkdah 时间戳：1695174687827。topic：kb23 partition：2 偏移量：5 value：hhh1 时间戳：1695175898301。topic：kb23 partition：2 偏移量：9 value：ppp1 时间戳：1695178017439。topic：kb23 partition：2 偏移量：8 value：ppp 时间戳：1695177956251。
2023-09-20 22:37:01
458
原创 Kafka核心原理
Kafka早期版本使用ZooKeeper为每个消费者存储offset，由于ZooKeeper写入性能较差，从0.10版本后，Kafka使用自己的内部主题维护offset。每个Broker启动时，都会完成Broker注册过程，生产者会通过该节点的变化来动态地感知到Broker服务器列表的变更。每个Partition只能由同一消费组内的一个Consumer来消费。offset的管理是基于消费组（group.id）的级别。Topic：维护一个主题中的消息，可视为消息分类。随机分配、自定义分区算法等。
2023-09-19 23:36:00
445
原创 hive1基础
这种强大的定制功能是的可以很容易的使用hive来处理那些由其他工具和各种各样的ETL（也就是数据抽取、数据转换和数据装载过程）程序产生的文件。指定集合和映射元素间的分隔符（例-，^B,\002）匹配名字中有李或者兰字的名字1---rlike写法。匹配名字中有李或者兰字的名字2---like写法。b、数据完全由hive管理，删除表（元数据）b、Hive不完全管理数据，删除表（元数据）--创建demo表和列名id、name。--创建demo表和列名id、name。分区列的值将表划分为一个个的文件。
2023-09-10 23:33:37
31
原创 hive2、分桶、视图、高级查询
-------------------------------------------------建表----------------------------------------------------老师答案*****************************************************************************************查询name,skill,score,wps，其中skills_score炸裂成skill,score；
2023-09-09 23:29:09
92
1
原创 Hive3窗口函数
一般与group by 一起使用，可应用于列或表达式，对null 的count聚合为0（即select count(null)=0）。窗口函数是一组特殊函数。--percent_rank() （目前排名-1）/（总行数-1），值相对于一组值的百分比排名。--将有序的数据集合平均分配到n个桶中，将桶号分配给每一行，根据桶号，选取前或后n分之几的数据。--dense_rank() 对相同数值，输入相同的序号，下一个序号连续。--rank() 对相同数值，输出相同的序号，下一个序号跳过。
2023-09-07 17:32:22
28
原创 Hadoop数据缓存
/缓存空间不大，所以数据不能太大！//------------------------------------塞值。//8设置job Reduce阶段任务数量。//定义customerOrders。//判断如果顾客id和订单中id相等。//map阶段已经获得所有顾客的信息。//客户名称需要判断是否为空。//添加setup和map方法。//获取客户id，转换。//7判断如果存在删除。//订单信息获取分割。//启动开始时间程序。//启动结束时间程序。//setup获取顾客信息。
2023-08-29 18:27:17
27
原创 分布式计算模型MapReduce
每一组相同k的<k,Iterator<v>>组调用一次reduce（）方法。Map端接收<k,v>键值对数据，经过处理输出新的<k,v>键值对。Reduce端搜集多个Mapper端输出的<k,v>数据，进行汇总。Map端处理逻辑写在Mapper类中map()方法中。Reduce的业务逻辑写在reduce（）方法中。框架处理的数据格式是<k,v>键值对。每个节点出库存储在该节点的数据。一、MapReduce。二、MapReduce。三、MapReduce。四、MapReduce。五、MapReduce。
2023-08-28 17:52:37
53
原创 HADOOP(1)
文件系统datanodes、namenodes、secondary namenodes。资源管理nodemanagers、resourcemanager。上传本地文件mysql8到hdfs指定目录install下。1、上传hellohadoop.txt文件。（一）查看start-all.sh。进入历史服务器19888。（关闭stop同上）
2023-08-25 19:09:05
22
原创 linux安装Hadoop
合并NameNode的edit logs到fsimage文件中。一个HDFS集群只有一个Active的NN。管理文件系统的Namespace 元数据。3、不适合并发写入，文件随机修改场景。数据存储节点，保存和检索Block。辅助NN将内存中元数据信息持久化。lunix安装Hadoop步骤。一个集群可以有多个数据节点。1、不适合延时数据访问场景。HDFS最基本的存储单元。一个在同一个机架不同节点。2、不适合小文件存取场景。4、可构建在廉价的机器上。1、作用：避免数据丢失。一个在不同机架的节点。
2023-08-23 23:52:45
524
1
原创 虚拟机安装MySQL8
root@localhost opt]# useradd -r -g mysql mysql #创建用户。③修改mysql-8.0.30-linux-glibc2.12-x86_64名字为mysql8。[root@localhost ~]# vim /etc/group #查看。[root@localhost ~]# groupadd mysql #创建组。②# 创建一个系统用户：mysql，指定用户组为mysql。# 创建新表时将使用的默认存储引擎。①# 创建一个用户组：mysql。
2023-08-21 19:57:43
227
原创 Linux系统grep sed awk 使用方法
处理时，把当前处理的行存储在临时缓冲区，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。每行内容都会分割成一系列的域，因此，我们可以认为一行的第一个词为第一个域，第二个词为第二个域，以此类推。注：以上都是内置变量，在引用时不需要前面加$,每新建一个变量，都需要加个-v,与变量名之间有无空格都可以，变量可以在引用之后再声明，但那一行的输出会输出空行。表示：隔行删除，从第2行开始，每隔两行删除一个，删除偶数行。ORS：输出记录分隔符；
2023-08-19 20:15:57
334
原创 Linux系统常用命令
root@kb128 gree]# echo abc > demo.txt 将echo输出的内容，输出到 demo.txt中。[root@kb128 ~]# rm -rf /opt/kb22/ 删除目录及内部的所的文件和目录。[root@kb128 gree]# cat demo.txt 查看demo.txt中的内容。[root@kb128 ~]# mkdir -p /opt/kb22/gree 创建目录。systemctl stop firewalld 暂停防火墙。
2023-08-18 19:39:54
24
原创 python
如果你需要一段运行很快的关键代码，或者是想要编写一些不愿开放的算法，你可以使用C或C++完成那部分程序，然后从你的Python程序中调用。Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发，从简单的文字处理到 WWW 浏览器再到游戏。Python的最大的优势之一是丰富的库，跨平台的，在UNIX，Windows和Macintosh兼容很好。
2023-08-09 16:24:12
29
原创 下拉--实战
一、实体类二、UserDeptDao接口三、UserDeptDaoImplpublic class UserDeptDaoImpl extends BaseDao implements UserDeptDao {//查询部门 @Override public List<Dept> findAllDept() {List<Dept> list = new ArrayList<>();Dept dept
2023-07-21 18:00:35
21
原创 Mybatis
System.out.print("用户角色"+uu.getUserRoleName()+"\t");System.out.print("用户名"+uu.getUserName()+"\t");
2023-07-19 22:46:17
25
原创 第四章 JDBC
1.JDBC定义JDBC是Java数据库连接技术的简称，提供连接各种常用数据库的能力2.为什么需要JDBCJDBC场景1：客户端（本机+应用服务器）---JDBC---》数据库-----》返回至客户端《---JDBC---JDBC场景2：本机---访问---》应用服务器---JDBC---》数据库-----》返回至客户端《---JDBC---3、JDBC的工作原理（1）Java连接数据库的步骤：步骤1：Java应用程序编写代码步骤2：调用JDBC API接口或是类。
2023-06-27 18:49:53
40
1
原创 初识MySQL--外键约束
①新建两个表，分别命名为t_lofe和t_person。③在t_lofe表中设置外键约束的内容。②在t_person表中设置外键约束。④填写t_person表的信息。
2023-06-21 17:53:32
23
原创 正则表达式
1-9]\\d{4,9}")){ 不严谨。System.out.println("输入的座机号验证成功！System.out.println("座机号验证失败！System.out.println("请输入您的座机号：");
2023-06-20 16:09:19
16
原创 DOM4J解析实战--手机案例
步骤：创建工程，准备phone.xml。案例2：查询（显示）手机信息。案例3：添加手机信息。案例4：保存手机信息。案例5：修改手机信息。案例6：删除手机信息。
2023-06-20 16:05:48
22
原创 JSON的魅力
1、对象{} 2、数组[] 3、属性名：属性值 4、逗号(多个数据之间由逗号分隔)步骤1、JSON解析框架fastjson-1.2.47.jar【使用maven的pom依赖管理】略《 Getter and Setter》字符串、数字、布尔值、null、数组、对象。3.2 pom引入fastjson的依赖。步骤3、实现Java对象转换为JSON 字符串。步骤4 实现json字符串转成Java对象。步骤2、创建maven工程，并创建标准目录。3.1创建Java对象。
2023-06-16 17:00:38
17
原创 常用方法equals()以及它和==的区别
/trus--->比较s1和s2的内存指向是否相同。//true--->比较a1和a2的内存地址是否相同。//trus--->比较s1和s2的内存值是否相同。//false--->比较a1和a2的内容是否相同。
2023-06-13 17:08:25
20
原创 java中的接口
大家熟悉的计算机，其主板上的CPI插槽就哭理解为接口，它有同一的标准，规定了可插入设备的尺寸、排线等。主板厂商和各种卡的厂家都遵守这个统一的接口规范，因此，声卡、显卡、网卡尽管内部实现结构不一样，但是都可以插在PCI插槽上。接口是一些方法特征的集合，从这个角度来讲，接口可以看作是一种特殊的“抽象类”，但是他采用与抽象类完全不同的语法表示，两者的设计理念也不同。Java中接口的作用和生活中接口类似，它是一种规范和标准，呀可以约束类的行为，使得实现该接口的类（或结构）在形式上保持一致。
2023-06-07 17:10:04
34
azkaban-db-3.84.4.tar.gz azkaban-exec-server-3.84.4.tar.gz
2023-11-13
azkaban-db-3.84.4.tar.gz azkaban-exec-server-3.84.4.tar.gz
2023-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人