为了论文爬虫,在mac上装了visual studio code.
scrapy beautifulsoup 等 各种爬虫库
学习scrapy .css .xpath 搜索网站标签及内容的方法
爬取springer网站题目与摘要的程序 好不容易调好的!
import requests
from scrapy import Selector
def get_keywords_abstract(url):
r = requests.get(url) #打开网页
if r.status_code != 200