使用python查找重复值

任务要点

在词表中，一些单词重复，并有重复例句。找出所有重复单词的索引，并将重复例句合并。最后将整张词表分割成重复值和非重复值部分。

核心代码

1、使用xlwt和xlrd模块读写Excel

读取Excel的步骤在于，获得所有sheet名字的数组，通过名字读取某一个sheet的内容，然后使用sheet.row_values()和sheet.col_values()获取某一行或列的内容。

initialData = ‘...’ #需要读取的excel的路径
workbook = xlrd.open_workbook(initialData)
sheet_names = workbook.sheet_names()
sheet = workbook.sheet_by_name(sheet_names[0])
data = sheet.col_values(4)

写入EXCEL的步骤在于，使用xlwt.Workbook()新建一个Excel缓存，然后使用.add_sheet()指定名字新建sheet。

book = xlwt.Workbook(encoding='utf-8', style_compression=0)
wSheet1 = book.add_sheet("noRepetition")
wSheet2 = book.add_sheet("repetition")

2、使用set(data)去除所有重复值

构建矩阵allData，储存所有单词的序号、重复次数、单词内容。