今天特别气自己,想骂人。
今天还是北京奥运十周年。
之前连数据库用来同事发给我的代码去连,然后一般数据都是存在rows里。
cursor.execute(sql)
rows = cursor.fetchall()
我自己写是加了一个list,因为他这个每一行都是元组,元组又不能修改,也没什么方法。然后这个数据框是一行,我自己又写个for循环,将着一行两个变量拆开。我也知道for循环超慢,但是用apply就报错,因为里面的元组或者list并没有这个apply的方法可以使用,反正是很慢。今天就觉得这一个变量都有这么慢,所以想改进算法,一共30个变量。包括后续的处理,差不多哪一个变量至少40分钟,那30个,1200,20小时,想想头皮发麻,要不是我的方法不对,要不就是我写错了,不可能这么慢,肯定有路。
data=pd.DataFrame(list(rows),columns=['datetime'])
后来还和小伙伴讨论,用apply(lambda x:)这种方法,用列表循环,忙一上午,后来都开始想提取数据读入CSV,再读出,真是服了。最后才想起从源头看
df = pd.read_sql("select * from dbo.biao",con=conn)
完全可以这样写,直接就是。一开始也看到了pd.read_sql,但是看的都不是我用的pyodbc这个包,都是pymysql这种以及其他连mysql的包,我以为这里不可以用,简直无知!!!!
后来终于用对了,可以直接数据框,豁然开朗,心情舒畅!走的弯路都懒得写,太多太多!