爬取目标
爬取工具
win10 python3 scrapy BeautifulSoup
爬取内容
1 网站缩略图 2 网站名称 3 网址 4 Alexa排名,5 百度权重 6 网站简介 7 网站得分
爬取理由
想着可以通过网站top 来注册一下 .app的域名,同时这也是一个顶级域名。亦或者进行一下数据分析,看下以后做哪种类型的网站会稍微有前途些(异想天开.gif)
爬取代码
因为用scrapy 用得熟练,这里只贴spider代码,其他工程代码,留言索取,即可。
- spider代码
# -*- coding: utf-8 -*-