php将词表中已有的词去除,关键词去重工具

一、php版本

使用方法，将本keyword.php与关键词列表文件放在同一个文件夹，

原来的关键词列表是11.txt，去除重复关键词之后的列表为11_new。

keyword.php代码如下：

$file = file('11.txt');

$user2 = array_unique($file);

print_r($user2);

file_put_contents("11_new.txt", $user2);

?>

亲测无误。

二、python版本

"""

original.txt为原始数据列表，result.txt为去重后的数据列表

"""

def removeduplicate(filename):

with open(filename,'r') as f2:

lines = f2.readlines()

temp = list(set(lines))

print("文件去重成功，去重后的结果是{}".format(temp))

print("\n")

return temp

def text_save(filename, data):#filename为写入CSV文件的路径，data为要写入数据列表.

file = open(filename,'a')

for i in range(len(data)):

s = str(data[i]).replace('[','').replace(']','')#去除[],这两行按数据不同，可以选择

# s = s.replace("'",'').replace(',','') +'\n' #去除单引号，逗号，每行末尾追加换行符

file.write(s)

file.close()

print("保存文件成功")

data = removeduplicate("original.txt")

text_save("result.txt",data)