爬虫2--爬取豆瓣网热映电影

1.爬取一部电影的详细内容

from bs4 import BeautifulSoup
import requests
#获取爬取的网址
url=requests.get('https://movie.douban.com/subject/24773958/')
#获取网页源代码
v_source=BeautifulSoup(url.text,'lxml')
# print(v_source)
#爬取标题
v_title=v_source.find('span',attrs={'property':'v:itemreviewed'})
# print(v_title.text)

# v_cover=v_source.find('span',attrs={'property':'v:summary'})
# print(v_cover.text)
#爬取类型
v_type=v_source.findAll('span',attrs={'property':'v:genre'})
for i in v_type:
    print(i.text)

2.爬取豆瓣网正在热映的全部电影

from bs4 import BeautifulSoup
import requests
#爬取全部正在热映的电影
url=requests.get('https://movie.douban.com/')
v_source=BeautifulSoup(url.text,'lxml')
#查看的是源代码
v_title=v_source.findAll('li',attrs={'class':'title'})

for i in v_title:
    print(i.text)