Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)_apache airflow教程(1)(1)

①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)
恭喜你,如果学到这里,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web 渗透、安全服务、安全分析等岗位;如果等保模块学的好,还可以从事等保工程师。薪资区间6k-15k

到此为止,大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗?

如果你想要入坑黑客&网络安全,笔者给大家准备了一份:282G全网最全的网络安全资料包评论区留言即可领取!

7、脚本编程(初级/中级/高级)
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力.

如果你零基础入门,笔者建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习;搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP, IDE强烈推荐Sublime;·Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,不要看完;·用Python编写漏洞的exp,然后写一个简单的网络爬虫;·PHP基本语法学习并书写一个简单的博客系统;熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选);·了解Bootstrap的布局或者CSS。

8、超级黑客
这部分内容对零基础的同学来说还比较遥远,就不展开细说了,附上学习路线。
img

网络安全工程师企业级学习路线

img
如图片过大被平台压缩导致看不清的话,评论区点赞和评论区留言获取吧。我都会回复的

视频配套资料&国内外网安书籍、文档&工具

当然除了有配套的视频,同时也为大家整理了各种文档和书籍资料&工具,并且已经帮大家分好类了。

img
一些笔者自己买的、其他平台白嫖不到的视频教程。
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

conda create -n airflow python=3.8
conda activate airflow


创建约束文件`airflowInstall.sh`添加官网给出的内容:




AIRFLOW_VERSION=2.7.2
PYTHON_VERSION=“

(

p

y

t

h

o

n

v

e

r

s

i

o

n

c

u

t

d

"

"

f

2

c

u

t

d

"

.

"

f

1

2

)

"

C

O

N

S

T

R

A

I

N

T

_

U

R

L

=

"

h

t

t

p

s

:

/

/

r

a

w

.

g

i

t

h

u

b

u

s

e

r

c

o

n

t

e

n

t

.

c

o

m

/

a

p

a

c

h

e

/

a

i

r

f

l

o

w

/

c

o

n

s

t

r

a

i

n

t

s

(python --version | cut -d " " -f 2 | cut -d “.” -f 1-2)" CONSTRAINT\_URL="https://raw.githubusercontent.com/apache/airflow/constraints-

(python−−version∣cut−d"“−f2∣cut−d”."−f1−2)"CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints−{AIRFLOW_VERSION}/constraints-

P

Y

T

H

O

N

_

V

E

R

S

I

O

N

.

t

x

t

"

p

i

p

i

n

s

t

a

l

l

"

a

p

a

c

h

e

a

i

r

f

l

o

w

=

=

{PYTHON\_VERSION}.txt" pip install "apache-airflow==

PYTHON_VERSION.txt"pipinstall"apache−airflow=={AIRFLOW_VERSION}” --constraint “${CONSTRAINT_URL}”


执行文件即可。也可以使用`pip`进行安装:




pip install “apache-airflow==2.7.2”


查询版本:




airflow version


## 3.启动单机版


### 3.1 快速启动


该命令初始化数据库、创建用户并启动所有组件。




airflow standalone

启动成功标志

standalone | Airflow is ready
standalone | Login with username: admin password: ZUUNtd9ppZZTQuqy
standalone | Airflow Standalone is for development purposes only. Do not use this in production!


### 3.2 分步骤启动


如果您想手动运行Airflow的各个部分,而不是使用一体化的独立命令,您可以运行:


1. 该命令用于执行数据库迁移。在使用 Airflow 之前,你需要初始化数据库结构。db migrate 命令会根据你的配置文件创建数据库表格,以便存储任务调度、任务实例、DAG(Directed Acyclic Graph,有向无环图)等信息。运行后的信息:




airflow db migrate


初始化数据库后的输出信息:




DB: sqlite:root/airflow/airflow.db
Performing upgrade to the metadata database sqlite:root/airflow/airflow.db
[2023-10-19T14:21:37.687+0800] {migration.py:213} INFO - Context impl SQLiteImpl.
[2023-10-19T14:21:37.688+0800] {migration.py:216} INFO - Will assume non-transactional DDL.
[2023-10-19T14:21:37.690+0800] {db.py:1620} INFO - Creating tables
INFO [alembic.runtime.migration] Context impl SQLiteImpl.
INFO [alembic.runtime.migration] Will assume non-transactional DDL.
WARNI [unusual_prefix_911b7e3bced5159145cb88698226ecde6e08c7be_example_kubernetes_executor] The example_kubernetes_executor example DAG requires the kubernetes provider. Please install it with: pip install apache-airflow[cncf.kubernetes]
WARNI [unusual_prefix_008dd7238a3787d68b758fe337b9f566c5014ba3_tutorial_taskflow_api_virtualenv] The tutorial_taskflow_api_virtualenv example DAG requires virtualenv, please install it.
WARNI [unusual_prefix_db2b4614a7fb1ba43706f0a1f2be91e808476bfa_example_python_operator] The virtalenv_python example task requires virtualenv, please install it.
WARNI [unusual_prefix_5624127e5a8d9c88ab5a41d62ecf92869309dd74_example_local_kubernetes_executor] Could not import DAGs in example_local_kubernetes_executor.py

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数网络安全工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年网络安全全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

img

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上网络安全知识点!真正的体系化!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

t DAGs in example_local_kubernetes_executor.py

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数网络安全工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年网络安全全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

[外链图片转存中…(img-pK2ykOgZ-1715454390781)]

[外链图片转存中…(img-DQDYtuQS-1715454390781)]

[外链图片转存中…(img-KXUyoqJC-1715454390782)]

[外链图片转存中…(img-dPbHwxjg-1715454390782)]

[外链图片转存中…(img-38ro8nx7-1715454390782)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上网络安全知识点!真正的体系化!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

  • 26
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Airflow部署可以采用多节点(集群)部署的方式,这种方式适用于对稳定性要求较高的场景。在多节点部署中,可以将Airflow的守护进程分布在多台机器上运行,以现高可用性。[1] 具体的部署步骤如下: 1. 确保已经安装了CentOS 7.2作系统,并满足以下版本要求:Airflow 1.9、Python 2.7.5、Celery 4.3.0、Redis 4.1.0和MySQL 5.7。 2. 执行以下命令安装Airflow:`pip install apache-airflow`. 3. 执行以下命令初始化Airflow的数据库:`airflow db init`. 4. 启动Web服务:`airflow webserver --port 8080 -D`. 5. 启动调度器:`airflow scheduler -D`. 如果需要重新启动Airflow,可以执行以下步骤: 1. 杀死所有正在运行的Airflow进程:`killall airflow`. 2. 运行以下命令初始化数据库:`airflow db upgrade`. 3. 启动Web服务:`airflow webserver --port 8080 -D`. 4. 启动调度器:`airflow scheduler -D`. 对于MySQL数据库的部署,您可以使用以下步骤: 1. 登录MySQL数据库,执行以下命令创建Airflow数据库:`create database airflow;`. 2. 创建Airflow用户并设置密码:`create user 'airflow'@'%' identified by '123456';`. 3. 授予Airflow用户对所有数据库的所有权限:`grant all privileges on *.* to 'airflow'@'%';`. 4. 刷新权限:`FLUSH PRIVILEGES;`. 请注意,以上步骤仅为Airflow部署和数据库配置的基本步骤,具体的部署配置可能会因环境和需求而有所不同。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [airflow初探(一)-- 安装和部署](https://blog.csdn.net/hpugym/article/details/89476480)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [airflow 2.2.3部署(2022年最新版+史上最完整版)](https://blog.csdn.net/small_fash/article/details/123254349)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值