解析Alexa列表

最新推荐文章于 2021-08-02 22:35:16 发布

kimiYangfly

最新推荐文章于 2021-08-02 22:35:16 发布

阅读量746

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/ykm18811712927/article/details/72621220

版权

该博客介绍了如何使用Python下载并解析Alexa提供的top-1m.csv.zip文件，从中提取出网站URL。通过Downloader类获取ZIP文件内容，然后使用ZipFile和csv模块处理数据，最终获取指定数量的最大URL列表。

摘要由CSDN通过智能技术生成

import csv
from zipfile import ZipFile
from StringIO import StringIO
from downloader import Downloader
D = Downloader()
zipped_data = D('http://s3.amazonaws.com/alexa-static/top-1m.csv.zip')
urls = []
with ZipFile(StringIO(zipped_data)) as zf:
    csv_filename = zf.namelist()[0]