一、git
Git 是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目。
https://www.runoob.com/manual/git-guide/ (简明介绍)
1、git安装
在使用Git前我们需要先安装 Git。Git 目前支持 Linux/Unix、Solaris、Mac和 Windows 平台上运行。
Git 各平台安装包下载地址为:http://git-scm.com/downloads
安装方法(引自菜鸟教程):https://www.runoob.com/git/git-install-setup.html
2、Git工作流(引自菜鸟教程:https://www.runoob.com/git/git-workspace-index-repo.html)
你的本地仓库由 git 维护的三棵“树”组成。第一个是你的 工作目录
,它持有实际文件;第二个是 暂存区(Index)
,它像个缓存区域,临时保存你的改动;最后是 HEAD
,它指向你最后一次提交的结果。
一般工作流程如下:
- 克隆 Git 资源作为工作目录。
- 在克隆的资源上添加或修改文件。
- 如果其他人修改了,你可以更新资源。
- 在提交前查看修改。
- 提交修改。
- 在修改完成后,如果发现错误,可以撤回提交并再次修改并提交。
3、Git配置SSH Key公钥
通常使用git 在git仓库pull、push代码,会要求配置ssh公钥,例如gitlap\githup等。
引自https://www.jianshu.com/p/f5c018cfad1d
4、常用操作(重要)
(1)构建仓库
git init: 可以使用 git init 命令在本地目录下来初始化一个 Git 仓库。在执行完成 git init 命令后,Git 仓库会生成一个 .git 目录,该目录包含了资源的所有元数据,其他的项目目录保持不变(不像 SVN 会在每个子目录生成 .svn 目录,Git 只在仓库的根目录生成 .git 目录)。
git clone(常用): 可以使用 git clone 从现有 Git 仓库中拷贝项目,例如在master clone到本地分支。
(2) 分支管理
分支是用来将特性开发绝缘开来的。在你创建仓库的时候,master 是“默认的”分支。在其他分支上进行开发,完成后再将它们合并到主分支上。
git branch (branchname):新建分支branchname
git checkout (branchname):切换分支或到master ,git checkout master切换master
git branch -d (branchname): 删除分支
git branch:查看有多少分支
git merge:分支合并 分支的创建可以在gitlap页面端创建,分支的合并也可以在界面端提交merge request
(3)代码修改
通常在本地下载分支目录下修改,修改之后push到远程仓库分支,再merge到master, 下面命令按顺序执行:
git pull origin master : 切记,修改代码前先在master 上拉取最新的代码,防止他人改动,在最新的基础上修改
git add ./git add * :add该文件添加到缓存区
git commit -m " 提示语言" :使用 git add 命令将想要快照的内容写入缓存区, 而执行 git commit 将缓存区内容添加到本地的分支仓库中。
git push: 将本地分支代码push到远程仓库分支上
git merge: 合并
(4)代码撤销回滚
git reflog:查看所有分支的所有操作记录(包括已经被删除的 commit 记录和 reset 的操作)
补充:git log 命令可以显示所有提交过的版本信息
git reset --hard id(relog 中展示的commitId):撤回到指定id版本的代码
(5)解决版本冲突(需要再补充)
git stash / git stash pop
https://www.cnblogs.com/jimmyshan-study/p/10978567.html
https://www.runoob.com/git/git-tutorial.html
https://www.jianshu.com/p/f5c018cfad1d
二、Airflow
Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理。
airflow中文文档:https://airflow.apachecn.org/#/zh/start
1、Airflow的工作流程(使用的)
(1)代码开发
基本实例:https://www.jianshu.com/p/089c56b4ec14
基本实例2:https://www.cnblogs.com/cord/p/9450910.html
(2)http发送请求
个人工作内容,通过http 发送post请求 调用Airflow,指定具体执行task
(3)状态查看
可以通过https://airflow.mininglamp.com/admin/来查看,查看具体log信息和执行状态等。(不同的airflow管理界面链接不同)
补充:可以在host里配置好airflow 的ip和域名映射,可以直接用域名访问这个ip
三、http请求/postman
1、http请求简介
(重要)https://blog.csdn.net/ailunlee/article/details/90600174
(重要)https://blog.csdn.net/yezitoo/article/details/78193794
2、 使用postman发送http请求
使用教程:https://blog.csdn.net/fxbin123/article/details/80428216
https://www.jianshu.com/p/97ba64888894
工作遇到(个人情况)
(1)情况一 dlisten
使用postman本体发送请求,在服务器端开启reply端口,所需要配置的部分
post 请求方式
URL:airflow启动URL
Auth:根据要求需要配置username 和密码
body:选择raw的json格式,切记上传的参数格式,需要根绝要求的格式来
(重要)在服务器段开启侦听端口,接受返回reply结果:nc -klv 10.10.***.*** 8080(ip 端口号)
补充: nc 命令
nc命令的作用
- 实现任意TCP/UDP端口的侦听,nc可以作为server以TCP或UDP方式侦听指定端口
- 端口的扫描,nc可以作为client发起TCP或UDP连接
- 机器之间传输文件
- 机器之间网络测速
-l 开启 监听模式,用于指定nc将处于监听模式。通常 这样代表着为一个 服务等待客户端来链接指定的端口。
-v 显示指令执行过程。
-k<通信端口>强制 nc 待命链接.当客户端从服务端断开连接后,过一段时间服务端也会停止监听。 但通过选项 -k 我们可以强制服务器保持连接并继续监听端口。
https://www.runoob.com/linux/linux-comm-nc.html
(2)情况二 mm交接
未完补充