多个文件中的query按照频度排序

最新推荐文章于 2024-07-22 09:56:56 发布

程序员雷军

最新推荐文章于 2024-07-22 09:56:56 发布

阅读量1k

点赞数

分类专栏：面试题

本文链接：https://blog.csdn.net/leijun00/article/details/14519377

版权

该博客介绍了一个Python脚本，用于处理包含用户query的多个文件。脚本生成100个大小为1G的文件，每个文件中query随机组合，然后按照query出现的频度进行排序。通过awk和sort命令对结果进行处理并输出到result.txt。

摘要由CSDN通过智能技术生成

@陈利人
有10个文件，每个文件1G，每个文件的每行存放的都是用户的query（请自己随机产生），每个文件的query都可能重复。要求你按照query的频度排序。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# leijun00@gmail.com

import os
import sys
import random

PRE = 'url_'
FILE_COUNT = 100
LINE_COUNT = 100000

def generate_test_file():
    domain_list= list()
    dir_list =list()
    keyword_list= list()

    f_domain =open('domain.txt')
    f_dir =open('dir.txt')
    f_keyword =open('keyword.txt')

    for line inf_domain:
        domain_list.append(line.strip())

    for line inf_dir:
        dir_list.append(line.strip())
   
    for line inf_keyword:
        keyword_list.append(line.strip())

    len_domain =len(domain_list)
    le