python
曦云沐
抟扶摇而上者九万里
展开
-
python中os.path模块用于操作文件或文件夹
#遍历文件夹import os# def ergodic_folder(path):# if not os.path.isdir(path):# print("error:")# return# for root,dirs,files in os.walk(path):# for file in files:# ...转载 2018-03-09 10:50:33 · 598 阅读 · 0 评论 -
【airflow实战系列】 基于 python 的调度和监控工作流的平台
简介airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台。Airflow被Airbnb内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用Python来编写的平台上运行。Airflow是一种允许工作流开发人员轻松创建、维护和周期性地调度运行工作流(即有向无环图或成为DAGs)的工具。在Airbnb中,这些工作流包括了如数据存储、增长分析、...转载 2019-04-08 15:37:29 · 748 阅读 · 0 评论 -
airflow 定时任务+时间设定+cron表达式
from airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom datetime import datetime, timedelta'''任务参数配置'''default_args = { "owner": "airflow", # 用户名的任务的所有者 "de...转载 2019-04-08 14:05:14 · 7710 阅读 · 0 评论 -
pandas dataframe数据提取的方法
# -*- coding:utf8 -*-import numpy as npfrom pandas import DataFrameimport pandas as pddf = DataFrame(np.arange(20).reshape(4,5),index=['one','two','three','four'],\ columns=list('abcde'))df['a']#取a...转载 2018-06-01 19:36:42 · 48958 阅读 · 0 评论 -
python创建http服务
1.在编辑软件终端输入 python3 -m http.server 8000 (在Ubuntu下,输入python3,在Windows下,输入python即可。)2.打开浏览器输入http://localhost:8000 或 http://127.0.0.1:8000 (8000为端口号,自己可以随意设置)...原创 2018-06-01 18:45:11 · 546 阅读 · 0 评论 -
利用Python将多个excel文件合并为一个文件
# -*- coding: utf-8 -*-#导入需要使用的包import xlrd #读取Excel文件的包import xlsxwriter #将文件写入Excel的包#打开一个excel文件def open_xls(file): f = xlrd.open_workbook(file) return f#获取excel中所有的sheet表def getsheet(f): ...转载 2018-06-01 17:51:17 · 52708 阅读 · 11 评论 -
python写入csv文件的几种方法总结
import pandas as pd#任意的多组列表a = [1,2,3]b = [4,5,6] #字典中的key值即为csv中列名dataframe = pd.DataFrame({'a_name':a,'b_name':b})#将DataFrame存储为csv,index表示是否显示行名,default=Truedataframe.to_csv("test.csv"...转载 2018-05-07 19:54:44 · 1873 阅读 · 0 评论 -
windows下面安装Python3.6和pip终极教程
Windows系统下安装Python pip包1. 输入下载网址 https://pypi.org/project/pip/#files2.下载 pip-10.0.1.tar.gz 压缩包,然后解压,进入pip文件找到setup.py3.shift + 鼠标右键打开窗口4.输入 python setup.py install 5.然后添加路径C:\Users...原创 2018-05-11 10:08:55 · 2919 阅读 · 0 评论 -
Windows下的Python客户端处理
1.更新pippython -m pip install -U pip2.清屏cls原创 2018-04-05 20:48:12 · 455 阅读 · 0 评论 -
Python和多线程(multi-threading)
Python并不支持真正意义上的多线程。Python中提供了多线程包,但是如果你想通过多线程提高代码的速度,使用多线程包并不是个好主意。Python中有一个被称为Global Interpreter Lock(GIL)的东西,它会确保任何时候你的多个线程中,只有一个被执行。线程的执行速度非常之快,会让你误以为线程是并行执行的,但是实际上都是轮流执行。经过GIL这一道关卡处理,会增加执行的开销。这意...原创 2018-04-08 16:10:49 · 1026 阅读 · 0 评论 -
Airflow:Python 工作流管理利器
Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务,或者是大数据的批处理任务,Airflow 可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。Airflow 工作流设计称为有向非循环图(DAG)。这意味着,在...转载 2019-04-08 16:20:48 · 1361 阅读 · 0 评论