前言
有个小姐姐要从历史数据日志里根据一定的规则筛选一批数据，这批数据中有对局战场id字段，再根据这些id转化为文件名，连接远程FTP搜索该文件并下载到本地，然后打开文件删除前5行并在第6行行首添加一个字母，最后将改文件后缀名修改。 一天处理50+个这样的文件转化需求，简单算了下，差不多刚好要一天时间吧！！
但是，这怎么可以！！！！！！
于是，我主动提出了救援支持，结果就是现在基本上10分钟以内可以搞定以上操作！！
需求梳理
①数据处理：按照一定规则从历史数据日志筛选一批数据
②确定文件及目录：根据一定规则确定文件名及所在FTP子目录(远程FTP按照日期建子目录存储的文件)
③连接FTP：连接远程FTP
④批量下载文件：依据②中文件名及目录循环切换FTP远程目录并下载文件
⑤处理文件：打开文件并删除前5行 在文件第6行行首添加字母，保存时修改文件后缀(格式)
1、数据处理
历史数据日志有多份，存放在同一个文件夹，文件格式是csv
使用pandas进行数据处理操作
处理步骤：
- 读取数据合并的时候同步按照既定条件进行数据筛选
- 选择需要用到的字段
原始数据长啥样？
pandas.csv()读取数据后，我们使用info可以发现原始日志包含了71个字段，同时单个文件200MB+38万条数据。。
>>>df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 386418 entries, 0 to 386417
Data columns (total 71 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 @timestamp 386418 non-null object
1 appid 386418 non-null int64
2 assist 386418 non-null int64
3 battle_sum 386418 non-null int64
4 battleid 386418 non-null int64
...
69 usernum 386418 non-null int64
70 victory 386418 non-null int64
dtypes: float64(7), int64(54), object(10)
memory usage: 209.3+ MB
筛选既定条件数据
考虑到我们一次性处理的文件数不止一个，所以在读取原始日志后可以先把条件筛选工作做了再合并。
处理完之后，我们发现文件大小降低为7.9KB，很轻松的感觉有木有~
>>>df = df[df['modetid']>=117 ]
>>>df = df[df['usernum']>=10 ]
>>>df = df[df['pentakill']>=1 ]
>>>df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 14 entries, 117184 to 384421
Data columns (total 71 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 @timestamp 14 non-null object
1 appid 14 non-null int64
2 assist 14 non-null int64
3 battle_sum 14 non-null int64
4 battleid 14 non-null int64
...
69 usernum 14 non-null int64
70 victory 14 non-null int64
dtypes: float64(7), int64(54), object(10)
memory usage: 7.9+ KB
选择需要用到的列
实际上我们在后续处理中需要用到的列比较少，咱们一并处理了吧
>>>df = df[['@timestamp','battleid','herotid','quadrakill','pentakill']]
>>>df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 14 entries, 117184 to 384421
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 @timestamp 14 non-null object
1 battleid 14 non-null int64
2 herotid 14 non-null int64
3 quadrakill 14 non-null int64
4 pentakill 14 non-null int64
dtypes: int64(4), object(1)
memory usage: 672.0+ bytes
处理过程封装待用
由于合并多文件的操作在此前介绍过，这里不做更多科普，有兴趣同学可以前往查阅
以下是全部代码：
import os
import pandas as pd
import time
def concatData():
start_time = time.perf_counter()
print('正在读取原始对局日志......')
location = './对局日志'
fileList = []
n = 0
#合并数据
for fileName in os.walk(location):
for table in fileName[2]:
path = fileName[0] + '/' +table
Li = pd.read_csv(path,header=0)
#通过指定规则筛选数据
Li = Li[Li['modetid']>=117 ]
Li = Li[Li['usernum']>=10 ]
Li = Li[Li['pentakill']>=1 ]
n = n+1
fileList.append(Li)
print('第'+str(n)+'个表格已经合并')
print('在该目录下有%d个文件'%len(fileList))
print('正在合并，请稍等......')
res = pd.concat(fileList,ignore_index = True)
print('合并完成......')
#选择需要用到的字段
res = res[['@timestamp','battleid','herotid','quadrakill','pentakill']]
use_time = time.perf_counter() - start_time
print('合并数据消耗时长：{0:.2f} 秒\n'.format(use_time))
return res
2、确定文件及目录
在上一步数据处理后，我们得到的数据长下面这样：
>>>df.head()
@timestamp battleid herotid quadrakill pentakill
117184 2020-05-27 13:05:11 110853427027 14 0 1
130197 2020-05-27 13:49:10 110853428327 27 0 1
151473 2020-05-27 15:18:37 110853430538 17 0 1
185862 2020-05-27 17:39:53 110853434015 14 0 1
194350 2020-05-27 18:01:38 110853434646 22 0 1
在远程FTP里文件存储在二级目录里，二级目录是以日期命令，在历史数据日志里有每个对局发生的时间，因此可以通过这些字段行程 改文件及所在目录关系。
由于时间字段@timestamp是object格式，且形如“2020-05-27 13:05:11”，我们直接采用字符串的**split()**方法即可获得日期目录。
df['@timestamp'] = df['@timestamp'].str.split(' ').str[0]
文件格式为str(df.iloc[i][1])+’.bd’
3、连接FTP
Python中默认安装的ftplib模块，常见的函数列举如下：
参考文档：https://docs.python.org/3/library/ftplib.html
**ftp登录连接**
from ftplib import FTP #加载ftp模块
ftp=FTP() #设置变量
ftp.set_debuglevel(2) #打开调试级别2，显示详细信息
ftp.connect("IP","port") #连接的ftp sever和端口
ftp.login("user","password") #连接的用户名，密码
print ftp.getwelcome() #打印出欢迎信息
ftp.cmd("xxx/xxx") #进入远程目录
bufsize=1024 #设置的缓冲区大小
filename="filename.txt" #需要下载的文件
file_handle=open(filename,"wb").write #以写模式在本地打开文件
ftp.retrbinaly("RETR filename.txt",file_handle,bufsize) #接收服务器上文件并写入本地文件
ftp.set_debuglevel(0) #关闭调试模式
ftp.quit() #退出ftp
**ftp相关命令操作**
ftp.cwd(pathname) #设置FTP当前操作的路径
ftp.dir() #显示目录下所有目录信息
ftp.nlst() #获取目录下的文件
ftp.mkd(pathname) #新建远程目录
ftp.pwd() #返回当前所在位置
ftp.rmd(dirname) #删除远程目录
ftp.delete(filename) #删除远程文件
ftp.rename(fromname, toname)#将fromname修改名称为toname。
ftp.storbinaly("STOR filename.txt",file_handel,bufsize) #上传目标文件
ftp.retrbinary("RETR filename.txt",file_handel,bufsize) #下载FTP文件
获取远程FTP地址端口及账号密码后，即可进行连接
from ftplib import FTP
def ftpConnect():
#实例化一个fto对象
ftp =FTP()
#ftp地址及账号密码
host = 'xxx'
port = xxx
user_name = 'xxx'
password = 'xxx'
#连接ftp
ftp.connect(host ,port)
ftp.login(user_name,password)
#打印欢迎消息
print (ftp.getwelcome())
#设置被动模式（0是主动，1是被动）
ftp.set_pasv(1)
print('ftp连接成功\n')
return ftp
4、批量下载文件
下载文件前需要先切换到该文件所在的文件目录，然后再进行文件下载
切换文件目录：ftp.cwd(pathname) #设置FTP当前操作的路径
下载文件：ftp.retrbinary(“RETR filename.txt”,file_handel,bufsize) ,filename.txt是我们需要下载的文件
下载文件前先以写模式在本地打开文件file_handle=open(filename,“wb”).write
def ftpDownload(ftp,df):#df存放需要下载的文件及其所在目录
start_time = time.perf_counter()
n = 0
m = 0
print('正在下载文件')
for i in range(len(df.index)):
#获取文件所在目录
pathname = df.iloc[i][0]
#切换到文件所在目录
ftp.cwd(pathname)
#打印一级文件目录
#files = ftp.dir()
#获取目录下的所有文件
#file_list = ftp.nlst()
#设置本文件下载存储所在路径(./是当前文件所在路径)
local_path="./录像源文件/"
#为准备下载到本地的文件，创建文件对象
remote_file_name = str(df.iloc[i][1]) +'.bd'
try:
local_file_name=local_path + os.path.basename(remote_file_name)
file = open(local_file_name, 'wb')
#从FTP服务器下载文件到前一步创建的文件对象，其中写对象为file.write，1024是缓冲区大小
ftp.retrbinary('RETR '+remote_file_name,file.write,1024)
#关闭下载到本地的文件
file.close()
except :
m = m+1
print(f'\r共{m}个文件下载失败，共{n}个文件下载完成',end = ' ')
else:
n = n+1
print(f"\r共{m}个文件下载失败，共{n}个文件下载完成",end = ' ')
ftp.cwd('/')
#关闭FTP客户端连接
ftp.close()
print(f'\n共{n}个有效对局文件~')
print('\nftp连接已关闭')
use_time = time.perf_counter() - start_time
print('FTP数据下载消耗时长：{0:.2f} 秒\n'.format(use_time))
5、处理文件
由于需要处理的文件是字符串类型是bytes，在打开的时候需要用“rb”，删除前5行简单用del即可
在第六行行首写入字符时，需要注意以b作为前缀
def fileHandle(df):
print('正在进行数据转化')
m= 0
n= 0
for i in range(len(df.index)):
try:
refile = './录像源文件/' + str(df.iloc[i][1]) + '.bd'
fre = open(refile,'rb')
a = fre.readlines()
fre.close()
del a[0:5]
wrfile = './录像可执行文件/' + f'{str(i)}-' + df.iloc[i][5]+'五杀'+'.rep'
fwr = open(wrfile, 'wb')
a[0]= b'$'+a[0]
fwr.writelines(a)
fwr.close()
except :
m = m+1
print(f'\r共{m}个文件转化失败，共{n}个文件转化完成',end = ' ')
else:
n = n+1
print(f"\r共{m}个文件转化失败，共{n}个文件转化完成",end = ' ')
6、最后，让脚本运行起来
没啥别的，一步一步走，我们发现执行效率还蛮高的
中间遇到过 "error_perm：550 Failed to open file. "的问题，后来发现是远程文件目录不对或者本地文件没有读写权限导致的。
if __name__ == '__main__':
starttime = time.perf_counter()
#合并数据并过滤
res = concatData()
#关联英雄名称并处理日期与ftp目录一致
#df = mergeData(res)
#登录ftp
ftp = ftpConnect()
#下载指定文件
ftpDownload(ftp,df)
#转化数据为可播放文件
fileHandle(df)
usetime = time.perf_counter() - starttime
print('\n本次累积消耗时长：{0:.2f} 秒\n'.format(usetime))
人工处理可能需要一天时间，脚本执行只用了不到7分钟！！
>>>runfile('D:/ftp资源下载/ftp批量下载文件.py', wdir='D:/ftp资源下载')
正在读取原始对局日志......
第1个表格已经合并
第2个表格已经合并
第3个表格已经合并
在该目录下有3个文件
正在合并，请稍等......
合并完成......
合并数据消耗时长：10.29 秒
一共81个可用对局文件
220 (vsFTPd 3.0.2)
ftp连接成功
正在下载文件
共18个文件下载失败，共63个文件下载完成
共63个有效对局文件~
ftp连接已关闭
FTP数据下载消耗时长：395.89 秒
正在进行数据转化
共18个文件转化失败，共63个文件转化完成
本次累积消耗时长：407.21 秒
扫一扫
787
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
