工作中,常常需要将HIVE数据库或者HDFS中文件通过EXCEL格式,通过邮箱发给业务人员。但是,SHELL又不能直接将txt文件转换为EXCEL可读的格式,因此编写了以下两类python脚本:
一,将txt文档转换为xls格式(EXCEL2010提示:兼容模式):
注意,该代码需要下载xlwt包。(由于写的时间太长了,大家就自行下载安装包吧)
import sys
import os.path
import os
import xlwt
print “txt2xls.py test.txt test.xls”
inputpath =str(sys.argv[1])
outputpath=str(sys.argv[2])
f=open(inputpath)
wb=xlwt.Workbook()
ws1 = wb.add_sheet("Sheet1")
i=0
for line in f.readlines():
j=0
for item in line.split('\t'):
try:
item=item.strip().decode('utf-8')
except UnicodeDecodeError:
print i,j,item
ws1.write(i,j,"NULL")
else:
ws1.write(i,j,item)
j=j+1
i=i+1
f.close()
wb.save(outputpath)
二, 在一些场景中,必须保存为xlsx格式,即EXCEL2007以上的格式,
注意:该码依赖openpyxl模块
* 相关网站:http://openpyxl.readthedocs.org/en/latest/index.html
* openpyxl 地址:https://bitbucket.org/openpyxl/openpyxl/get/2.2.1.tar.bz2
* jdcal 下载地址: https://pypi.python.org/pypi/jdcal/
其中,openpyxl 依赖于jdcal ,故在安装过程中应优先安装jdcal--解压缩到某目录,
cd到该目录,运行"python setup.py install"。 然后安装openpyxl,方法相同。
另外,Python的标准库中,文件对象提供了三个“读”方法: read()、.readline()
和.readlines()。每种方法可以接受一个变量以限制每次读取的数据量,但它们通常不
使用变量。 .read() 每次读取整个文件,它通常用于将文件内容放到一个字符串变量
却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。
readline() 和 readlines()之间的差异是后者一次读取整个文件,像 .read()一样。
.readlines()自动将文件内容分析成一个行的列表,该列表可以由 Python 的 for... in ...
结构进行处理。另一方面,readline()每次只读取一行,通常比 .readlines()慢得多。
仅当没有足够内存可以一次读取整个文件时,才应该使用.readline()。
代码如下:
from openpyxl.workbook import Workbook
from openpyxl.reader.excel import load_workbook
from openpyxl.styles import PatternFill, Border, Side, Alignment, Protection, Font
import re
from openpyxl.writer.excel import ExcelWriter
import xlrd
import sys
import os
print “python txt2xlsx.py test.txt test.xlsx”
#根据输入移除已经存在的目标文件
patch_file_name = sys.argv[1]
patch_goal_name=sys.argv[2]
print patch_file_name
print patch_goal_name
os.remove(patch_goal_name)
#创建目标文件,在再目标文件中创建sheet,名字为goal
wb = Workbook()
ws = wb.active
ws.title="goal"
wb.save(patch_goal_name)
#打开文件
patch_file=open(patch_file_name) #get data patch text
wb=load_workbook(patch_goal_name) #open excel to write
sheetnames = wb.get_sheet_names()
ws = wb.get_sheet_by_name("goal") #get sheet
#根据打开文件逐行扫描写入
i=1
for line in patch_file.readlines():
j=1
for item in line.split('\t'):
try:
item=item.strip().decode('utf-8')
except UnicodeDecodeError:
print i,j,item
ws.cell(row=i,column=j).value = "NULL"
#ws1.write(i,j,"NULL")
else:
ws.cell(row=i,column=j).value = item
#ws1.write(i,j,item)
j=j+1
i=i+1
#关闭输入数据流,并保存写入文件
patch_file.close()
wb.save(patch_goal_name)