git + Airflow + http请求（2020.06.01）

一、git

Git 是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。

https://www.runoob.com/manual/git-guide/ （简明介绍）

1、git安装

在使用Git前我们需要先安装 Git。Git 目前支持 Linux/Unix、Solaris、Mac和 Windows 平台上运行。

Git 各平台安装包下载地址为：http://git-scm.com/downloads

安装方法（引自菜鸟教程）：https://www.runoob.com/git/git-install-setup.html

2、Git工作流（引自菜鸟教程：https://www.runoob.com/git/git-workspace-index-repo.html）

你的本地仓库由 git 维护的三棵“树”组成。第一个是你的 工作目录，它持有实际文件；第二个是 暂存区（Index），它像个缓存区域，临时保存你的改动；最后是 HEAD，它指向你最后一次提交的结果。

一般工作流程如下：

• 克隆 Git 资源作为工作目录。
• 在克隆的资源上添加或修改文件。 
• 如果其他人修改了，你可以更新资源。
• 在提交前查看修改。
• 提交修改。
• 在修改完成后，如果发现错误，可以撤回提交并再次修改并提交。

3、Git配置SSH Key公钥

通常使用git 在git仓库pull、push代码，会要求配置ssh公钥，例如gitlap\githup等。

引自https://www.jianshu.com/p/f5c018cfad1d

4、常用操作（重要）

（1）构建仓库

 git init: 可以使用 git init 命令在本地目录下来初始化一个 Git 仓库。在执行完成 git init 命令后，Git 仓库会生成一个 .git 目录，该目录包含了资源的所有元数据，其他的项目目录保持不变（不像 SVN 会在每个子目录生成 .svn 目录，Git 只在仓库的根目录生成 .git 目录）。

git clone（常用）:  可以使用 git clone 从现有 Git 仓库中拷贝项目，例如在master clone到本地分支。

(2)  分支管理

分支是用来将特性开发绝缘开来的。在你创建仓库的时候，master 是“默认的”分支。在其他分支上进行开发，完成后再将它们合并到主分支上。

git branch (branchname)：新建分支branchname
git checkout (branchname)：切换分支或到master ，git checkout master切换master
git branch -d (branchname): 删除分支
git branch：查看有多少分支
git merge：分支合并 分支的创建可以在gitlap页面端创建，分支的合并也可以在界面端提交merge request

（3）代码修改

通常在本地下载分支目录下修改，修改之后push到远程仓库分支，再merge到master, 下面命令按顺序执行：

git pull origin master  : 切记，修改代码前先在master 上拉取最新的代码，防止他人改动，在最新的基础上修改

git add ./git add * :add该文件添加到缓存区

git commit -m " 提示语言" ：使用 git add 命令将想要快照的内容写入缓存区， 而执行 git commit 将缓存区内容添加到本地的分支仓库中。

git push: 将本地分支代码push到远程仓库分支上

git merge: 合并

（4）代码撤销回滚

git reflog：查看所有分支的所有操作记录（包括已经被删除的 commit 记录和 reset 的操作） 

补充：git log 命令可以显示所有提交过的版本信息

git reset --hard id(relog 中展示的commitId)：撤回到指定id版本的代码

（5）解决版本冲突（需要再补充）

git stash / git stash pop

https://www.cnblogs.com/jimmyshan-study/p/10978567.html

https://www.runoob.com/git/git-tutorial.html

https://www.jianshu.com/p/f5c018cfad1d

二、Airflow

Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。

airflow中文文档：https://airflow.apachecn.org/#/zh/start

1、Airflow的工作流程（使用的）

（1）代码开发

基本实例：https://www.jianshu.com/p/089c56b4ec14

基本实例2：https://www.cnblogs.com/cord/p/9450910.html

（2）http发送请求

个人工作内容，通过http 发送post请求 调用Airflow,指定具体执行task

（3）状态查看

可以通过https://airflow.mininglamp.com/admin/来查看，查看具体log信息和执行状态等。（不同的airflow管理界面链接不同）

补充：可以在host里配置好airflow 的ip和域名映射，可以直接用域名访问这个ip

三、http请求/postman

1、http请求简介

（重要）https://blog.csdn.net/ailunlee/article/details/90600174

（重要）https://blog.csdn.net/yezitoo/article/details/78193794

2、 使用postman发送http请求

 使用教程：https://blog.csdn.net/fxbin123/article/details/80428216

https://www.jianshu.com/p/97ba64888894

工作遇到（个人情况）

（1）情况一 dlisten

使用postman本体发送请求，在服务器端开启reply端口，所需要配置的部分

post 请求方式

URL：airflow启动URL

Auth:根据要求需要配置username 和密码

body:选择raw的json格式，切记上传的参数格式，需要根绝要求的格式来

(重要)在服务器段开启侦听端口，接受返回reply结果：nc -klv 10.10.***.*** 8080（ip 端口号）

补充： nc 命令

nc命令的作用

• 实现任意TCP/UDP端口的侦听，nc可以作为server以TCP或UDP方式侦听指定端口
• 端口的扫描，nc可以作为client发起TCP或UDP连接
• 机器之间传输文件
• 机器之间网络测速

-l 开启 监听模式，用于指定nc将处于监听模式。通常 这样代表着为一个 服务等待客户端来链接指定的端口。

-v 显示指令执行过程。

-k<通信端口>强制 nc 待命链接.当客户端从服务端断开连接后，过一段时间服务端也会停止监听。 但通过选项 -k 我们可以强制服务器保持连接并继续监听端口。

https://www.runoob.com/linux/linux-comm-nc.html

（2）情况二 mm交接

未完补充