Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型

于 2024-05-16 06:36:33 发布
阅读量605 收藏 8
点赞数 20
分类专栏： 2024年程序员学习 文章标签： 网络安全 web安全 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60452293/article/details/138939093
版权

如何自学黑客&网络安全

黑客零基础入门学习路线&规划

初级黑客
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k

到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！

7、脚本编程（初级/中级/高级）
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.

如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。

8、超级黑客
这部分内容对零基础的同学来说还比较遥远，就不展开细说了，附上学习路线。
img

网络安全工程师企业级学习路线

img
如图片过大被平台压缩导致看不清的话，评论区点赞和评论区留言获取吧。我都会回复的

视频配套资料&国内外网安书籍、文档&工具

需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）

当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。

img
一些笔者自己买的、其他平台白嫖不到的视频教程。
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1. 工作流调度系统解决了什么问题

我曾经参与过一个数据治理的项目，项目的大概流程是【数据获取-数据清洗入库-展示】：

在这里插入图片描述
这时候就出现问题了，数据导入成功后要执行清洗流程，那什么时候数据导入完成呢？又是什么时候开始执行数据清洗流程呢？盯着当然是可以的，但是复杂的流程我们实现了自动化，执行的时候却要人工，比较浪费时间。直接使用crontab可以实现定时，但是无法实现顺序执行。

我们当时自己搭建了一个调度平台，实现的功能是定时调度指定的shell脚本，shell脚本去调用ktr或者kjb脚本并输出日志数据，这个平台解决了数据导入阶段，也解决了数据清洗阶段，但是没能实现自动化，因为不知道数据导入何时结束、导入是否成功，也就没法定时调用清洗脚本，最终，这个平台也被放弃了，我们合并了shell脚本，自己在Linux系统上进行执行及数据校验。😩

后来开始学习大数据，大数据相关的组件更多，流程也更多，调度文件就凸显了，例如，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

通过Hadoop先将原始数据上传到HDFS上（HDFS的操作） >> 使用MapReduce对原始数据进行清洗（MapReduce的操作） >> 将清洗后的数据导入到hive表中（hive的导入操作） >> 对Hive中多个表的数据进行JOIN处理，得到一张hive的明细表（创建中间表） >> 通过对明细表的统计和分析，得到结果报表信息（hive的查询操作）。

在这里插入图片描述

这些任务单元 (数据收集、数据清洗、数据存储、数据分析等) ，任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

  • 如何定时调度某个任务？
  • 如何在某个任务执行完成后再去执行另一个任务？
  • 如何在任务失败时候发出预警？

工作流调度系统解决了这些实际问题。

2. 特点

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies来设置依赖关系【可以设置一个，也可以设置多个】。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流，它的 官网 介绍如下：

  • Compatible with any version of Hadoop 兼容任何版本的 Hadoop
  • Easy to use web UI 易于使用的Web用户界面
  • Simple web and http workflow uploads 可以使用简单的 Web 页面进行工作流上传
  • Project workspaces 支持按项目进行独立管理
  • Scheduling of workflows 定时任务调度
  • Modular and pluginable 模块化和可插拔的插件机制
  • Authentication and Authorization 身份认证/授权(权限的工作)
  • Tracking of user actions 跟踪用户操作
  • Email alerts on failure and successes 支持失败和成功的电子邮件提醒
  • SLA alerting and auto killing SLA 警报和自动查杀失败任务
  • Retrying of failed jobs重试失败的任务

这里展示一张简单的前端任务调度流程图：

在这里插入图片描述
还可以进行权限配置：

在这里插入图片描述
项目日志展示：

在这里插入图片描述

3. 与Ooize简单对比

尽管工作流调度器能够解决的需求场景基本一致，但在设计理念、目标用户、应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考：

特性OozieAzkaban
工作流描述语言XMLtext file with key/value pairs
是否要web容器YesYes
进度跟踪web pageweb page
Hadoop Job调度支持YesYes
运行模式daemondaemon
事件通知NoYes
支持的hadoop版本0.20+Compatible with any version of Hadoop
重试支持YesYes
运行任意命令YesYes
Azkaban 和 Oozie 都是目前使用最为广泛的工作流调度程序，其主要区别如下：

功能对比

  • 两者均可以调度 Linux 命令、MapReduce、Spark、Pig、Java、Hive 等工作流任务；
  • 两者均可以定时执行工作流任务。

工作流定义

  • Azkaban 使用 Properties(Flow 1.0) 和 YAML(Flow 2.0) 文件定义工作流；
  • Oozie 使用 Hadoop 流程定义语言（hadoop process defination language，HPDL）来描述工作流，HPDL 是一种 XML 流程定义语言。

资源管理

  • Azkaban 有较严格的权限控制，如用户对工作流进行读/写/执行等操作；
  • Oozie 暂无严格的权限控制。

运行模式

Azkaban 3.x 提供了两种运行模式：

  • solo server model(单服务模式) ：元数据默认存放在内置的 H2 数据库（可以修改为MySQL），该模式中 webServer (管理服务器) 和 executorServer (执行服务器) 运行在同一个进程中，进程名是 AzkabanSingleServer 。该模式适用于小规模工作流的调度。
  • multiple-executor(分布式多服务模式) ：存放元数据的数据库为 MySQL，MySQL 应采用主从模式进行备份和容错。这种模式下 webServer 和 executorServer 在不同进程中运行，彼此之间互不影响，适合用于生产环境。

Oozie 使用 Tomcat 等 Web 容器来展示 Web 页面，默认使用 derby 存储工作流的元数据，由于derby 过于轻量，实际使用中通常用 MySQL 代替。

如果你的工作流不是特别复杂，推荐使用轻量级的 Azkaban，主要有以下原因：

  • 安装方面：Azkaban 3.0 之前都是提供安装包的，直接解压部署即可。Azkaban 3.0 之后的版本需要编译，这个编译是基于 gradle 的，自动化程度比较高；
  • 页面设计：所有任务的依赖关系、执行结果、执行日志都可以从界面上直观查看到；
  • 配置方面：Azkaban Flow 1.0 基于 Properties 文件来定义工作流，这个时候的限制可能会多一点。但是在 Flow 2.0 就支持了 YARM。YARM 语法更加灵活简单，著名的微服务框架 Spring Boot就采用的 YAML 代替了繁重的 XML。

4. 架构

Azkaban的multiple-executor(分布式多服务模式) 由三个关键组件构成：

在这里插入图片描述

  1. AzkabanWebServer：AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
  2. AzkabanExecutorServer：负责具体的工作流的提交、执行，它们通过mysql数据库来协调任务的执行。
  3. 关系型数据库（MySQL）：存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。

5. Job类型

原生的 Azkaban 支持的 plugin 类型有以下这些，官网也有举例 但是官网很不友好【网速不行、举例不详细、有些文件无法下载 😟】 ：

  • command：Linux shell命令行任务（最为强大，懂的都懂 😏）
  • gobblin：通用数据采集工具
  • hadoopJava：运行hadoopMR任务
  • java：原生java任务
  • hive：支持执行hiveSQL
  • pig：pig脚本任务
  • spark：spark任务
  • hdfsToTeradata：把数据从hdfs导入Teradata
  • teradataToHdfs：把数据从Teradata导入hdfs

----------------------------------------【以下举例都是flow1.0语法】----------------------------------------

  1. command类型 job配置举例
type=command
# 只要是Linux命令能够实现的操作 这里都能执行 所以说这种类型最为强大
command=echo "This is azkaban cmd ... "
command.1=who am i
# 依赖前一个job 配置文件为 cmd1.job 
dependencies=cmd1
  1. java类型 job配置举例【我更原因使用command类型的job调度Java代码】
type=javaprocess
# 所有相关代码所在的文件夹
classpath=/home/azkaban/*


### 一、网安学习成长路线图


网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/aa7be04dc8684d7ea43acc0151aebbf1.png)


### 二、网安视频合集


观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/f0aeee2eec7a48f4ad7d083932cb095d.png)


### 三、精品网安学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/078ea1d4cda342f496f9276a4cda5fcf.png)


### 四、网络安全源码合集+工具包

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。  
 **需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）**

![在这里插入图片描述](https://img-blog.csdnimg.cn/e54c0bac8f3049928b488dc1e5080fc5.png)


### 五、网络安全面试题


最后就是大家最关心的网络安全面试题板块  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/15c1192cad414044b4dd41f3df44433d.png)![在这里插入图片描述](https://img-blog.csdnimg.cn/b07abbfab1fd4edc800d7db3eabb956e.png)  



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
努力马斯克
关注
专栏目录
推荐系统架构治理
wenyusuran的专栏
09-06 1225
导读：在数字化革命和AI赋能的大背景下，推荐场景逻辑越来越复杂，推荐细分场景越来越丰富，对业务迭代和效果优化的效率有了更高的要求。推荐系统业务和技术在传统架构支撑下自然堆砌，变得越来越臃肿，开发维护困难，推荐系统在应用架构上正面临新的挑战。本文就第四范式在智能推荐系统架构方面的探索实践，聊一聊在应用架构治理方面提升推荐服务开发维护效率，增强系统灵活性和扩展性的新探索。重点探讨在开发推荐系统乃至智能系统领域时遇到的问题，解决方法及未来的发展趋势。 主要内容包括： 推荐系统业务现状、趋势及挑战
Azkaban知识点入门
默主归沙的博客
06-04 1314
任务流程图： 官网：https://azkaban.github.io/ 1.2 azkaban的特点 1.3 常见调度系统 1.4 azkaban和oozie的比较 azkaban和oozie相对来说是市面上最流行的两种调度器。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。具体对比如下： 工作流定义 工作流传参 定时执行 资源管理 工作流执行 工
Azkaban入门篇
qiaoqiao0609的博客
04-21 1068
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 在介绍Azkaban之前，我们先来看一下现有的两个工作流任务调度系统。知名度比较高的应该是Apache Oozie，但是其配置工作流的过程是编写大量
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型（一篇即可入门Azkaban工作流调度系统）
最新发布
Java与大数据相关实践内容分享！
02-22 1087
Azkaban 核心概念+特点+Web界面+架构+Job类型（一篇即可入门Azkaban工作流调度系统）
Azkaban的功能特点（二）
weixin_33888907的博客
01-18 227
    Azkaban是什么?（一） 　 　　不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html           Azkaban的功能特点　　 　　它具有如下功能特点： 　　　　1、Web用户界面 　　　　2、方便上传工作流 　　　　3、方便设置任务之间的关系 　　　　4、工作流调度 ...
Azkaban 简单入门
_hello_world_的博客
08-13 783
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 1. 安装 准备工作 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2...
azkaban-web-server
03-04
Azkaban Web Server是Azkaban的核心组件之一，它提供了用户友好的Web界面，用于提交、监控和管理工作流任务。在本文中，我们将深入探讨Azkaban Web Server的功能、架构以及如何在`azkaban-web-server-2.5.0.tar`这个...
azkaban学习文档
03-02
1. **Azkaban架构**：Azkaban由三个主要部分组成——Web Server、Executor Server和Job Runner。Web Server提供了用户界面和管理接口，Executor Server负责接收和调度任务，Job Runner则实际执行任务。 2. **工作流...
编译好的azkaban,3.90.0版本
09-24
6. **上传项目和工作流**：使用Azkaban的Web界面或命令行工具`azkaban-cli`上传你的工作流定义文件（`.job`和`.xml`）到Azkaban项目中。 7. **调度工作流**：设置工作流的调度参数，如触发时间、依赖条件等，然后...
大数据任务调度（Azkaban，Oozie）
李玉坤的博客
09-03 5884
文章目录常见调度工具OozieOozie架构Oozie运行原理Oozie 工作三大核心Oozie 元数据库Oozie Action 节点类型Oozie Job 创建方式Hue 创建 Oozie job 步骤及演示 常见调度工具 CRONTAB （最简单的方式，适合不是非常复杂的场景，比如只按照时间来调度） OOZIE（Hadoop自带的） AZKABAN（开源的一个调度工具） 定制开发 O...
Azkaban的架构（三）
weixin_34236497的博客
01-18 489
  Azkaban是什么?（一） Azkaban的功能特点（二） 　　不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html     Azkaban的架构       Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。 也可以用其代...
Azkaban快速入门
fx67ll的博客
04-26 1795
方便大家使用Azkaban快速实现企业级自动化任务
Azkaban入门简介
鸭梨的博客
12-23 236
体系架构 - WebServer ：暴露Restful API，提供分发作业和调度作业功能； - ExecServer ：对WebServer 暴露 API ，提供执行作业的功能； - MySQL ：数据存储，实现Web 和 Exec之间的数据共享和部分状态的同步。 安装 Solo Server安装 Solo Server简介 这种Solo Server服务是azkaban的单机版，即是单实例，它安装简单，便于学习。他的优点如下： - 安装简单:不需要mysql实例，它内置h2来做存储。 - 启动简单：w
azkaban学习
weixin_44229645的博客
11-11 321
手法摸摸哦1
大数据---Azkaban快速入门
qq_43785075的博客
10-01 737
Azkaban快速入门一、Azkaban的概论1.1、Azkaban的定义1.2、为什么需要工作流调度系统1.3、常见的工作流调度系统1.4、Azkaban 与 Oozie 对比1.5、Crontab的基本使用二、Azkaban的入门2.1、集群模式安装(版本为-3.84.4）2.1.1、上传jar包2.1.2、配置 MySQL2.1.3、 配置 Executor Server(在/opt/module/azkaban/azkaban-exec/下执行)2.1.4、配置 Web Server2.2、Work
Azkaban学习（一）---简介及使用
会写Bug的攻城狮
02-08 302
Azkaban概述 Azkaban是一个分布式工作流管理器，在LinkedIn上实现，以解决Hadoop作业依赖性问题。我们 有需要按顺序运行的工作，从ETL工作到数据分析产品。 特点： 1）给用户提供了一个非常友好的可视化界面->web界面 2)非常方便的上传工作流-》打成压缩包 3）设置任务间的关系 4）权限设置-》删库到跑路 5）模块化 6）随时停止和启动任务 7）可以查看日志记录 与...
Azkaban从入门到精通以及案例实操系列
prefect_start的博客
05-24 3297
Azkaban从入门到精通再到实战一文搞定
azkaban知识点学习
花&败
11-13 181
azkaban的安装
Azkaban学习（一）Azkaban的基础介绍
potter
05-11 501
1、为什么需要工作流调度器（1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等（2）各任务单元之间存在时间先后及前后依赖关系（3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处理步骤如下所示：　...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值