student_thon的博客

Airflow2.0版本[core][logging][webserver][scheduler][core]# dags存放路径dags_folder = /home/xxx/airflow/dags# 获取服务器IP的方式hostname_callable = socket.getfqdn# 时区，可以是UTC(默认)，也可以换成国内Asia/Shanghaidefault_timezone = utc# airflow支持并行性的工作器，有`SequentialExecutor`(默认

概念文档1中有如下几句话：The first DAG Run is created based on the minimum start_date for the tasks in your DAG. Subsequent DAG Runs are created by the scheduler process, based on your DAG’s schedule_interval, sequentially.If you run a DAG on a schedule_interval o

在airflow官方文档1中不推荐使用动态的start_date。start_date是前DagRun部分遗留，但仍然运用在许多方面。当创建了一个新的DAG时， 对于你的任务可能需要使用default_args来设置一个全局的start_date。建立的第一个DagRun将会基于所有任务中最小的(start_date)。从那时起，调度程序将会根据你的schedule_interval 来建立新的DagRun，并且在满足所设立的依赖时运行相应的任务实例。将新任务引入DAG时，需要特别注意start_date

1

Airflow学习之路一 概念Concept IntroductionDAGSDefault ArgumentsDAG Runsexecution_dateOperatorsTasksTask InstancesDAGSDAG是一个由n(n⩾1n\geqslant1n⩾1)个task构成的有向无环图。它记录了任务之间的逻辑关系，调度时间，任务状态等等。Default Arguments以字典的形式将参数传入DAG中。官方文档1中将参数统一放置于default_args中，其适用于任意实例化运算符

数据状况 对应模型 Python函数 数据为理想状态 线性回归模型/一般线性模型 statesmodles.regression.liner_model* sklearn.liner_model.LinerRegression 非线性关联/存在高次项/交互项 曲线直线化 sklearn.preprocessing.Polyn...

定义K-Means算法（K-均值聚类）是典型的基于距离的非层次聚类算法，在最小化误差函数的基础上将数据划分为预定的类数K，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度越大。算法过程从N个样本数据中随机选取K个对象作为初始的聚类中心分别计算每个样本到各聚类中心的距离，将对象分配到距离最近的聚类中所有对象分配完成之后，重新计算K个聚类的中心与前一次计算得到的K个聚类中...

1

人工神经网络是一种模拟生物神经网络进行信息处理的数学模型。人工神经网络的设计是以人工神经元为基础的。它也是人工神经网络操作的基本信息处理单位。上图为人工神经元模型。图中的激活函数有如下几种激活函数在分类与预测，δ学习规则（误差校正学习算法）是使用最为广泛的一种。常用的用来实现否对、、分类和预测的人工神经网络算法有人工神经网络BP神经网络的学习算法是δ学习规则，目标函数采用E=∑...

1

1

通过下面这张图了解一下Sklearn的工作原理这是一张CRISP-DM,即为"跨行业数据挖掘标准流程"。它强调的是一个循环迭代的过程。想要详细的了解这张图可以在https://www.bigdatas.cn/article-2103-1.html该网站中了解。在这张图中Sklearn是从"数据准备"阶段开始的。首先，Sklearn有预处理的模块，可以把特征进行提取和归一化 ，把相应的原始输入...

什么是NumpyNumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处理，以及精密的运算库。NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含：一个强大的N维数组对象 ndar...

实验一是处理表格中的缺失值，这里用的是拉格朗日插值法# 导入pandas数据分析库import pandas as pd# 导入lagrange插值函数from scipy.interpolate import lagrange# 忽略警告信息import warningswarnings.filterwarnings('ignore')# 输入数据的路径inputfile =...