过程:
种子地址:从哪里开始爬,可以是一个,也可以是多个
获取网页的html代码,还有一些元信息。
用正则:想要什么我就取什么。
1 链接:用于下次继续爬
2 图片
3 下载文件
取完了之后,保存,入库、写文件。
用数据做分析或者其他展示的用途。
练习:
爬取搜狐所有的链接,找到所有包含足球的网页内容,并进行下载保存。
文件序号从1.html。。。。。n.html
算法:
request访问sohu首页,获取源码
使用正则获取网页链接:建议大家获取所有的链接后打印一下内容,再看怎么处理链接。
处理网页链接:拼接http:// 过滤掉jpg\css\js\png等无效链接
放入爬取列表
爬之,判断是否包含关键字足球,如果有,保存到文件中。
# coding: utf-8
import requests
import re
r = requests.get("http://www.sohu.com")
#print(r.text)
valid_link = []
all_links = re.findall(r'href=\"(.*?)\" ',r.text)
for link in all_links:
if link[-3:] not in ["ico","png","css","jpg","js","gif"]:
if lin