爬取链接:https://www.shanghairanking.cn/rankings/bcur/2021
这里偷个懒,直接在之前创建好的项目文件里创建爬虫文件,创建命令“scrapy genspider daxue daxue.com”,创建了daxue.py文件
如果不知道如何创建项目文件的话,可以参考这篇文章Scrapy爬虫框架
爬虫文件的代码如下:
import scrapy
from baiduSpider.items import BaiduspiderItem
class DaxueSpider(scrapy.Spider):
name = 'daxue'
allowed_domains = ['daxue.com']
start_urls = ['https://www.shanghairanking.cn/rankings/bcur/2021'] #爬取链接
def parse(self, response): #解析爬取到页面的方法
for row in response.xpath('//*[@id="content-box"]/div[2]/table/tbody/tr'): #循环逐行从列表中获取每个链接
item=BaiduspiderItem() #实例化
item['rank']=row.xpath("td[1]/div/text()")[0].get().strip() #排名
item['name']=row.xpath("td[2]/div/div[2]/div[1]/div/div/a/text()")[0].get().rstrip() #大学名称
item['city']=row.xpath("td[3]/text()")[0].get().strip() #所在省市
item['type'] = row.xpath("td[4]/text()")[0].get().strip() #类型
item['score']=row.xpath("td[5]/text()")[0].get().strip() #总分
yield item
items文件的代码如下:
import scrapy
class BaiduspiderItem(scrapy.Item):
rank = scrapy.Field()
name = scrapy.Field()
city = scrapy.Field()
type = scrapy.Field()
score = scrapy.Field()
最后输入命令运行爬虫文件:scrapy crawl daxue -o daxue.csv
最终得到的结果如下:
补充strip、lstrip、rstrip的用法
这三个都是为了删除字符串中不同位置的指定字符。strip()用于去除字符串的首尾字符,lstrip()用于去除开头(左边left)的字符,rstrip()用于去除尾巴(右边right)的字符