#!/usr/local/python27/bin/python2.7
#coding:utf-8
__author__ = 'similarface'
import os,sys
from pandas import *
import pandas as pd
if sys.argv.__len__()<6:
info='''
---------------------------------------------------------------------------
该程序比对2个文件的列,如果文件1的列=文件2的列,则输出,输出为csv格式文件!
使用方法:merge 文件1 比对列1 文件2 比对列2 输出文件
useage:merge file1 comparecol file2 comparecol outfile
备注:文件的列从1开始计数,可以在后面追加debug。
---------------------------------------------------------------------------
'''
print(info)
print('使用方法:merge file1 comparecol file2 comparecol outfile')
print(sys.argv)
sys.exit(-1)
else:
infile1=sys.argv[1]
comparepos1=sys.argv[2]
infile2=sys.argv[3]
comparepos2=sys.argv[4]
outputfile=sys.argv[5]
flag=True
try:
debug=sys.argv[6]
if debug!='debug':
flag=False
except IndexError:
flag=False
if os.path.exists(infile1) and os.path.exists(infile2) and os.path.isfile(infile2) and os.path.isfile(infile1):
if infile1.endswith('csv'):
data1=pd.read_table(infile1,header=None,sep=',')
else:
data1=pd.read_table(infile1,header=None,sep='\s+')
if infile2.endswith('csv'):
data2=pd.read_table(infile2,header=None,sep=',')
elif infile2.endswith('txt'):
data2=pd.read_table(infile2,header=None)
else:
data2=pd.read_table(infile2,header=None,sep='\s+')
if flag:
print('索引上+1就是比对的参数值')
print('------data1数据源------')
print(data1.columns)
print(data1.ix[0:10])
print('------data2数据源------')
print(data2.columns)
print(data2.ix[0:10])
r=pd.merge(data1,data2,left_on=int(comparepos1)-1,right_on=int(comparepos2)-1)
r.to_csv(outputfile)
if flag:
print(pd.read_csv(outputfile,nrows=10))
else:
print('给定文件文件不存在!')
/shell/merge.sh 2.txt 1 3.txt 1 result.csv debug 索引上+1就是比对的参数值 ------data1数据源------ Int64Index([0], dtype='int64') 0 0 111-1116-3782 1 111-1120-5765 2 111-1114-6846 3 111-1121-1087 4 111-1120-3655 5 111-1113-2658 6 111-1115-5084 7 111-1117-2234 8 111-1112-2871 9 111-1119-4502 10 111-1112-4707 ------data2数据源------ Int64Index([0], dtype='int64') 0 0 111-1127-3269 1 111-1123-1863 2 111-1125-5555 3 111-1129-1959 4 111-1125-5081 5 111-1122-3431 6 111-1127-0824 7 111-1126-2713 8 111-1128-8409 9 111-1121-3852 10 111-1121-8611 Unnamed: 0 0 0 0 111-1116-3782