就是这点东西 Requests:自动爬取HTML页面,自动网络请求提交 robots.txt:网络爬虫排除标准 Beautiful Soup:解析HTML页面 Re:正则表达式,提取页面关键信息 Scrapy:专业爬虫框架