大家好,我是Samaritan。
自学了一周爬虫,出于需求想在学院视频课里找找有没有适合学习的,发现找不到只看免费课的过滤器(也可能是我高度近视),于是就当练手,写了这个爬虫,希望能帮到和我一样需求的朋友。
好了,Talk is cheap,show you the code!
#爬取csdn学院中所有标注免费的视频课,并将标题和链接保存到txt里(默认路径为桌面)
import requests
from bs4 import BeautifulSoup as bts
#使用两个爬虫最常用的库
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
url = 'https://edu.csdn.net/course/index/p1?is_member=1&is_free=2'
#创建请求头和需要爬取的url
key ='免费' #设置爬取判定的关键字
res = requests.get(url,headers=headers)
print(res.status_code) #检查响应状态
html = bts(