爬取多个豆瓣电影名

利用网页结构的相似性

爬虫的目的，是从网站中 自动化 的 批量 提取数据。

从以下链接中提取电影的标题和标题后的年份:

• https://movie.douban.com/subject/1292052/
• https://movie.douban.com/subject/1962665/
• https://movie.douban.com/subject/26752088/

from requests_html import HTMLSession
session = HTMLSession()
links = ['https://movie.douban.com/subject/1292052/',
         'https://movie.douban.com/subject/1962665/',
         'https://movie.douban.com/subject/26752088/']
for index in links:
    r = session.get(index)
    title = r.html.find('#content > h1 > span:nth-child(1)', first=True)
    year = r.html.find('#content > h1 > span.year', first=True)
    print(title.text, year.text)

链接相似 外观相似 相似的网页结构。这两个相似性是爬虫能够从一系列网站中自动化提取数据的重要基础

F:\program\python3.6.1\python.exe E:/Study/py爬虫/学习/爬虫/批量提取豆瓣.py
肖申克的救赎 The Shawshank Redemption (1994)
银河铁道之夜 銀河鉄道の夜 (1985)
我不是药神 (2018)

Process finished with exit code 0