Python
qiuswh
这个作者很懒,什么都没留下…
展开
-
Airflow 常见问题汇总
1- 中文注释导致dag 不显示。Airflow 常见问题汇总。2- task 依赖关系。原创 2023-01-14 16:54:32 · 344 阅读 · 0 评论 -
centos 7.9 服务器安装 airflow ,踩坑过程
服务器安装 airflow ,踩坑过程原创 2022-11-17 17:58:59 · 194 阅读 · 0 评论 -
sqoop 多进程增量抽数报错问题解决
增量抽数 会 共用 --target-dir /sqoop/conditiontest 这个文件。多进程的情况下 ,会出现找不到 文件 错误;单脚本测试 正常;晚上多进程抽数 就会报错。加上table_out 后 ,问题解决。原创 2022-11-15 10:37:58 · 190 阅读 · 0 评论 -
2021-08-10
保险股价趋势图分析 测试了一下,matplotlib.pyplot 的作图 ,折线图趋势如下: 中国平安下跌最快 ,反弹也是最猛的,看好新华保险,前期下跌幅度小,后期反弹凶猛,准备加仓 。具体代码如下:import pandas as pdimport numpy as np import matplotlib.pyplot as pltimport tushare as tsfrom datetime import datetime, timedelta#解决中文显示问题原创 2021-08-10 17:51:59 · 86 阅读 · 0 评论 -
count(distinct) 消耗资源过大的解决方案
count(distinct) 消耗资源过大的解决方案前几天接到个需求,有7个字段 计算 如下:selectstat_date,count(distinct case when datediff(aprv_date,conf_date) = 0 then uuid else null end) as ind_1from table_1其中 table_1 大概有 4000万的数据量 ,7个 count(distinct 差点把服务器跑崩溃,半个小时才跑完。以下是优化过程:1,.原创 2020-12-31 16:23:26 · 890 阅读 · 0 评论 -
同一文件夹类所有CSV文件汇总——Python
同一文件夹类所有CSV文件汇总转载 2018-11-26 14:21:11 · 940 阅读 · 0 评论