学用pandas中的DataFrame（一）

学用pandas中的DataFrame

（一）修改我的微信通信录

前天用模拟控制鼠标、键盘，将微信通信录导出，形成一个电子表格文件。但由于模拟鼠标、键盘操作过程中，模拟鼠标滚轮的值不好控制，导致通信录中有重复记录，且用户昵称和备注名，当时保存在同一个单元格中。现在要进行处理，一是清除重复的记录，二是要将用户昵称和备注名字分开，便于今后使用。
对这个表，利用pandas中的DataFrame结构处理，比较简单。
首先，DataFrame中，有相关数据清洗的命令，处理重复记录非常容易。其次，利用列表，增加列并赋值，也很容易。
但是，在实际操作过程中，还是遇到了许多问题。在这里做下记录，避免他人再遇这些坑。
#-*- coding:utf-8 -*-

import os
import pandas as pd
import numpy as ny
def runql():
filename=r’C:\Users\baijb2\Desktop\微信通信录2.xlsx’
filename2=r’C:\Users\baijb2\Desktop\微信通信录1.xlsx’
df=pd.DataFrame(pd.read_excel(filename))
#df[‘name’].drop_duplicates()

#df.to_excel('excel_to_python.xlsx')
#df.drop_duplicates(keep=False,inplace=True)
#df['name'].drop_duplicates(keep='last')
df.drop_duplicates('name','first',inplace=True)

print(df[df.duplicated(keep=False)])

df.to_excel(filename2)

def fenchai():

filename2=r'C:\Users\baijb2\Desktop\微信通信录1.xlsx'
df=pd.DataFrame(pd.read_excel(filename2))
a_list=list(df['name'])

flag=','
username=[]
beizhuname=[]
for i in a_list:
    x=i.count(flag,0)
    if x>0:
        
        pos=i.rfind(flag)
        name1=i[:pos]
        name2=i[pos+1:]
        username.append(name1)
        beizhuname.append(name2)
print(username)
#df增加两列，用户名，备注名
df['username']=pd.DataFrame(username)
df['beizhu']=pd.DataFrame(beizhuname)
print(df)
df.to_excel('excel_to_python.xlsx')

if name==“main”:
runql()
fenchai()

第一个坑就是#df[‘name’].drop_duplicates()
开始在网上查找到清洗命令df[‘name’].drop_duplicates()
但执行后，根本不能达到效果。经查资料，正常命令应为
df.drop_duplicates(‘name’,‘first’,inplace=True)
第一个参数为column名，‘first’为保持第一个记录（共有三个参数，last,false),implace有两个参数，true为不保存原表，false为保存，新生成副本。
第二个坑，是df更新后，并没有反馈到表格中，需要更新表格，新生成一个表，进行保存。命令为 df.to_excel(filename2)
第三个坑，是将列表赋值给df。开始直接用df[username]=username命令，结果不是列表的值。经查资料，应该强制转换值 的类型。使用下列命令，顺利得到正确结果。
df[‘username’]=pd.DataFrame(username)
也有几个小收获。
1：从字符串中查找分割符’，‘，开始想着使用find命令，如果重复，再继续查找。
经过查找资料，实际可以使用rfind命令，从右侧开始查找，得到最后一个’，‘的位置。
另外，也记录下，info,rinfo也可以确定特定字符位置。
遇到一个小坑，网上有一篇文章示例，使用info和find命令得到的结果不一样，当时想不明白，实际测试，发现示例错误。