python
Greetlist
这个作者很懒,什么都没留下…
展开
-
一些pandas的操作
文章目录对于列的操作对于列的操作在groupby sum 之后最好要reset_index()df1 = df.groupby([col1, col2]).sum()df2 = df.groupby([col1, col2]).sum().reset_index(drop)df1[col] += 'asdf'df2[col] += 'asdf'如果在df这张表很大的情况下,df...原创 2020-04-15 18:01:29 · 361 阅读 · 0 评论 -
airflow调度问题排查
文章目录问题描述排查总结问题描述现在公司使用的airflow调度器很慢,每次clear一个task之后,这个task要过一段时间才会被调度器调度到,这个时间大约需要15-30s。使用的airflow版本较老:v1.7.1.3排查参数问题airflow.cfg这个文件里面有很多的关于scheduler的参数,其中跟调度密切相关的有几个:max_threads :这个是调度da...原创 2020-02-17 10:34:39 · 4537 阅读 · 4 评论 -
使用python records 一些问题
文章目录NULL问题中文乱码问题NULL问题当数据库里面的数据是null的时候,直接print 结果集里面的条目是会出错的,现在我的解决办法是:对这些null手动赋值。中文乱码问题在创建新的连接的时候:db_connection = records.Database(conn_str, connect_args={'charset' : 'utf8'})需要添加额外的connect_...原创 2019-12-27 10:12:22 · 488 阅读 · 0 评论