lunix
Glyann
这个作者很懒,什么都没留下…
展开
-
Linux环境下并发删除文件
linux并发删除文件。原创 2022-10-11 15:11:29 · 375 阅读 · 0 评论 -
Linux系统下安装wgrib2
下载wgrib2: http://www.ftp.cpc.ncep.noaa.gov/wd51we/wgrib2/wgrib2.tgz[root@SZD-L0089638 grib2]# cd wgrib2/[root@SZD-L0089638 wgrib2]# lsAAIG.c gctpc_ll2xy.c mys...原创 2018-05-21 18:13:35 · 6092 阅读 · 0 评论 -
Python下ftp上传文件linux服务器
模块介绍: 1 from ftplib import FTP 2 ftp = FTP() #设置变量 3 ftp.set_debuglevel(2) #打开调试级别2 显示详细信息 4 ftp.connect("IP", "port") #连接ftp, IP和端口 5 ftp.log("user", "password") #连接的用户名、密码 6 7 ftp.cwd(pathnam...转载 2018-06-19 10:36:26 · 1067 阅读 · 0 评论 -
airflow常见问题汇总
AirFlow常见问题汇总airflow常见问题的排查记录如下:1,airflow怎么批量unpause大量的dag任务 普通少量任务可以通过命令airflow unpause dag_id命令来启动,或者在web界面点击启动按钮实现,但是当任务过多的时候,一个个任务去启动就比较麻烦。其实dag信息是存储在数据库中的,可以通过批量修改数据库信息来达到批量启动dag任务的效果。假如是用...转载 2019-01-03 17:33:35 · 9079 阅读 · 1 评论 -
Centos7 上安装airflow以及postgres数据库作为airflow的指定数据库
首先我安装的Python是3.5.2版本的,接下来就是安装的一些步骤:1、安装python3.5.21.0 安装python3.5可能使用的依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel lrzsz zlib-devel gcc1.1 使用rz...原创 2018-12-25 17:55:00 · 5011 阅读 · 0 评论 -
airflow介绍
1、为什么需要工作流调度系统1、数据分析系统由大量的任务单元组成 java job,python job ,bash job ,mapreduce job etc. 2、任务单元之间存在时间先后以及前后依赖关系2、常见工作流调度系统系统自带的工具: linux:crontab windows: 任务计划程序开源: ...原创 2018-12-26 09:10:40 · 1474 阅读 · 0 评论 -
多种的PostgreSQL安装和解析
目的:熟悉各种状态下postgresql ,理解postgresql 服务运行步骤和基本原理on linux centos 7一、EDB 公司发行版Interactive Installerpostgresql-10.6-1-linux-x64.runchmod +x postgresql-10.6-1-linux-x64.run./postgresql-10.6-1...原创 2019-01-17 15:14:22 · 869 阅读 · 0 评论 -
airflow分布式部署
1、首先将服务器之间设置免密现需要有A,B,C(假设IP地址为192.168.x.xxx)三台服务器,要求A,B可以同时免密登录到服务器C,服务器C作为master,另外两台作为worker操作步骤:1.A、B两台主机分别执行 ssh-keygen -t rsa,然后连续按回车,直至操作完成,此时会在A、B两台主机下/root/.ssh目录下生产id_rsa和id_...原创 2019-01-03 10:40:40 · 5054 阅读 · 0 评论