python
yangspoor
这个作者很懒,什么都没留下…
展开
-
python提高pandas处理CSV效率的方法
项目场景: 对从数据库导出的原始CSV数据进行更新,使用Python完成 问题描述: 网上建议使用pandas包的DataFrame处理方便高效,比csv包好。但执行时非常慢,1600万行记录(1.6GB),跑了5小时都没结束(4列置空,1列Hash) # 需要hash的示例代码 for field in field_list: for i in range(0, len(csv_df.index)): if not pd.isnull(csv_df[field][i]):原创 2020-10-12 11:06:13 · 1713 阅读 · 1 评论 -
Python3 读取Avro数据
Python3 读取Avro数据安装包示例代码 安装包 avro:我直接在pycharm上搜索安装,官网说avro已经可以支持python3了,所以不用安装avro_python3 snappy:在pycharm上安装报Microsoft Visual Stuido C++ 2014 is required无法安装 python-snappy:在pycharm上报snappy同样的错误,最后在直接下载whl文件(链接),用pip在命令上安装成功 我已经装了Microsoft Visual C++ Red原创 2020-08-26 11:47:52 · 1561 阅读 · 0 评论 -
Windows定时执行Python程序以及pythonw.exe介绍
pythonw.exe执行的python代码将不会弹出命令行窗口,相当于在后台执行 python.exe执行的python代码将会弹出命令行窗口,但结束后窗口会关闭 下面是设置windows定时执行Python 1.打开任务计划程序(搜索“任务计划程序”,或者在右击桌面的计算机,选择“管理”,) 2.右侧“创建基本任务” 3. 输入任务名及描述 4.设置触发器-执行条件 例如可以每天执行 5.操作,选择启动程序 程序:python.exe或者pythonw.exe的完整的路径 参数:原创 2020-07-23 09:42:17 · 842 阅读 · 0 评论