requests 爬取电影

今天我们就以猫眼为例

import requests,re
#代理ip
proxy={
    "HTTP": "113.3.152.88:8118",
    "HTTPS":"219.234.5.128:3128",
}
#爬取网址
url="https://maoyan.com/board"
#伪装头
headers={
         "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/70.0.3538.110 Safari/537.36",
    }
#接收返回对象
response=requests.get(url,headers=headers,proxies=proxy)
#utf8解码
html=response.content.decode("utf-8")
#正则提取数据  可以用xpath  bs4提取
ret=re.compile(r'<dd>[\w\W]*?<i class="board-index board-index-(\d{1,2})">\d{1,2}</i>[\w\W]*?<img data-src="(.*?)" alt="(.*?)"[\w\W]*?<p class="star">\s*?(.*?)\s*?</p>[\w\W]*?<p class="releasetime">(.*?)</p>[\w\W]*?<i class="integer">(.*?)</i>.*?class="fraction">(.*?)</i>',re.S)
res=ret.findall(html)
for i in res:
    print("电影：",i[2])
    print("电影图片：",i[1])
    print("主演：",i[3].strip())
    print(i[4])
    print("排名：", i[0])
    print("评分：",i[-2]+i[-1])
    print()

这次代码比较简单，如果看不懂的，可以翻看我之前的写的博客！