2018年12月_I_LOVER

原创分组并计数

对一个大文件中的某列进行分组并对其他列计数和求和import pandas as pdimport numpy as npimport osdata =pd.read_csv(r'C:\Users\lenovo\Desktop\12\total.csv').drop_duplicates(['快递员电话'])#去重data_1 =pd.read_csv(r'C:\Users\len...

2018-12-28 17:46:07 826

原创修改模板并检查是否修改

通过传过来的模板对原模板进行修改，检查完之后通过匹配规则匹配是否修改，如果没有修改好，则将没有修改完善的网点ID等相关信息放入到一个excl中import pandas as pdimport numpy as npimport sys,os,refrom pandas import Series,DataFramefile ={} #设置列表用于存储不正确的模板所对应的...

2018-12-24 11:19:50 268

原创用pandas读取csv文件出现问题

读取csv文件first = pd.read_csv(r'C:\Users\lenovo\Desktop\广州.csv',encoding="utf-8")second = pd.read_excel(r'C:\Users\lenovo\Desktop\网点规则调整申请表_20181219_紧急需求.xlsx')# first = first[['']]print(first.colu...

2018-12-21 14:03:39 4066

原创对excl文件选择某些列并根据行的内容进行排序

收到一个不包括文件，需要根据文件中每行的信息进行调整，现将需要的列给摘出来，然后按照相同的行给排在一起import pandas as pdimport osFolder_file =r'E:\全国规则调整\需要调整的表格' #文件夹的名字path = r'C:\Users\lenovo\Desktop\test.xlsx'excel_files =Folder_file +'\\'...

2018-12-20 12:54:41 531

原创从365个文件中选择某些文件并复制

往数据库中批量的导入全年的数据（365个文件），发现再导入的过程中某几个的文件没有导进去，现在通过程序从全部文件中（365个）找到那些没有导入的天数。import timeimport shutil, osimport pandasdef export(filename,filename1,filename2): file = [str(i)[:10] for i in ...

2018-12-19 17:29:13 207

原创在excl中加入一列并批量导入mysql数据库（先转化成Dataframe格式）

现将不含文件转成数据帧格式，因为这个格式的文件蟒中有大量的函数可以对其进行操作。from datetime import datetimeimport numpy as npimport pandas as pdimport pymysqlfrom sqlalchemy import create_engineimport timeimport osdef expor...

2018-12-18 22:06:49 241

原创批量向mysql数据库导入文件夹中的excl文件（方法2）

前一篇是直接将excl文件导入到数据库中，这次是现将excl文件转化成Dataframe格式的，然后直接导入mysql数据库（有现成函数哦）import numpy as npimport pandas as pdimport pymysqlfrom sqlalchemy import create_engineimport timeimport osdef export(F...

2018-12-14 00:17:03 361

原创从数据库中导出数据成Dataframe格式两种方法效率比较

方法1：import pymysqlimport pandas as pdimport timeimport xlrdfirst = time.time() #在数据库中操作150s，在python中操作320s#方法1con = pymysql.connect(host="localhost",user="root",password="root",db="test")...

2018-12-13 14:56:46 940

原创批量向mysql导入文件夹中的excl文件

因为需要批量的导入一批不包括表到数据库中，用手工太繁琐，所以写点程序批量导入，但是这个是单进程的，有想改进的小伙伴可以改成多进程的（可能快很多） import pymysqlfrom xlrd import xldate_as_tupleimport xlrdfrom datetime import datetimeimport os, time, random'...

2018-12-13 14:13:47 932 2

HUIxihuanni的博客