仰望星空的小随

airflow配置信息Airflow 1.10+安装整体流程建库、建用户Airflow安装airflow 配置1. 安装Mysql模块2. 用户认证3. 配置邮件服务4、配置Executor5. 修改log地址6. 修改webserver地址7. 可选配置8.celery配置信息9.scheduler配置信息调度程序尝试触发新任务的时间运行airflow安装问题汇总配置任务Airflow 1.10+安装本次安装Airflow版本为1.10+，其需要依赖Python和DB，本次选择的DB为Mysql。本

1.创建dataframe1.1读取文件来创建dataframefrom pyspark.sql import SparkSession #sparkSession为同统一入口#创建spakr对象spark = SparkSession\ .builder\ .appName('readfile')\ .getOrCreate()# 1.读取csv,parquet等文件文件logFilePath = 'births_train.csv'log_df = spark.