- 博客(9)
- 收藏
- 关注
原创 分组并计数
对一个大文件中的某列进行分组并对其他列计数和求和import pandas as pdimport numpy as npimport osdata =pd.read_csv(r'C:\Users\lenovo\Desktop\12\total.csv').drop_duplicates(['快递员电话'])#去重data_1 =pd.read_csv(r'C:\Users\len...
2018-12-28 17:46:07 826
原创 修改模板并检查是否修改
通过传过来的模板对原模板进行修改,检查完之后通过匹配规则匹配是否修改,如果没有修改好,则将没有修改完善的网点ID等相关信息放入到一个excl中import pandas as pdimport numpy as npimport sys,os,refrom pandas import Series,DataFramefile ={} #设置列表用于存储 不正确的 模板所对应的...
2018-12-24 11:19:50 268
原创 用pandas读取csv文件出现问题
读取csv文件first = pd.read_csv(r'C:\Users\lenovo\Desktop\广州.csv',encoding="utf-8")second = pd.read_excel(r'C:\Users\lenovo\Desktop\网点规则调整申请表_20181219_紧急需求.xlsx')# first = first[['']]print(first.colu...
2018-12-21 14:03:39 4066
原创 对excl文件选择某些列并根据行的内容进行排序
收到一个不包括文件,需要根据文件中每行的信息进行调整,现将需要的列给摘出来,然后按照相同的行给排在一起import pandas as pdimport osFolder_file =r'E:\全国规则调整\需要调整的表格' #文件夹的名字path = r'C:\Users\lenovo\Desktop\test.xlsx'excel_files =Folder_file +'\\'...
2018-12-20 12:54:41 531
原创 从365个文件中选择某些文件并复制
往数据库中批量的导入全年的数据(365个文件),发现再导入的过程中某几个的文件没有导进去,现在通过程序从全部文件中(365个)找到那些没有导入的天数。import timeimport shutil, osimport pandasdef export(filename,filename1,filename2): file = [str(i)[:10] for i in ...
2018-12-19 17:29:13 207
原创 在excl中加入一列并批量导入mysql数据库(先转化成Dataframe格式)
现将不含文件转成数据帧格式,因为这个格式的文件蟒中有大量的函数可以对其进行操作。from datetime import datetimeimport numpy as npimport pandas as pdimport pymysqlfrom sqlalchemy import create_engineimport timeimport osdef expor...
2018-12-18 22:06:49 241
原创 批量向mysql数据库导入文件夹中的excl文件(方法2)
前一篇是直接将excl文件导入到数据库中,这次是现将excl文件转化成Dataframe格式的,然后直接导入mysql数据库(有现成函数哦)import numpy as npimport pandas as pdimport pymysqlfrom sqlalchemy import create_engineimport timeimport osdef export(F...
2018-12-14 00:17:03 361
原创 从数据库中导出数据成Dataframe格式两种方法效率比较
方法1:import pymysqlimport pandas as pdimport timeimport xlrdfirst = time.time() #在数据库中操作150s,在python中操作320s#方法1con = pymysql.connect(host="localhost",user="root",password="root",db="test")...
2018-12-13 14:56:46 940
原创 批量向mysql导入文件夹中的excl文件
因为需要批量的导入一批不包括表到数据库中,用手工太繁琐,所以写点程序批量导入,但是这个是单进程的,有想改进的小伙伴可以改成多进程的(可能快很多) import pymysqlfrom xlrd import xldate_as_tupleimport xlrdfrom datetime import datetimeimport os, time, random'...
2018-12-13 14:13:47 932 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人