爬取豆瓣电影推荐排行榜

import requests
from bs4 import BeautifulSoup


class dianying():
    def html_url(self, url):
        html = requests.get(url)
        soup = BeautifulSoup(html.text, 'lxml')
        pai = soup.select('.pl2')
        for i in pai:
            s = i.find_all('a')
            name = s[0].text.strip()
            j = i.find_all('p')
            pin = i.find_all('div')
            fen = pin[0].text.strip()
            jiesao = j[0].text.strip()
            href = s[0]['href']
            print(name,jiesao,'\n',fen,'\n',href.strip() )
            self.get_Html(href)

    def get_Html(self, href):
        html_a = requests.get(href)
        soup_a = BeautifulSoup(html_a.text, 'lxml')
        pai_a = soup_a.select('.related-info')[0]
        s = pai_a.find('span')
        a = pai_a.find_all('h2')
        d = a[0].text.strip()
        f = s.text.strip()
        print(d, '\n', f)


dou = dianying()

dou.html_url('https://movie.douban.com/chart')

结果:

怒                         / 愤怒 / Rage 2016-09-10(多伦多电影节) / 2016-09-17(日本) / 渡边谦 / 森山未来 / 松山研一 / 绫野刚 / 广濑铃 / 皮埃尔泷 / 三浦贵大 / 佐久本宝 / 高畑充希 / 原日出子 / 池胁千鹤 / 宫崎葵 / 妻夫木聪 / 日本 / ikari-movie.com / 李相日 / 142分钟 / 怒 / 剧情...   7.9 (23273人评价)   https://movie.douban.com/subject/26279289/ 怒的剧情简介  ·  ·  ·  ·  ·  ·   炎炎夏日,东京八王子郊外社区,一对夫妇惨遭杀害。事后凶手用血在墙上写下大大的“怒”字,随后逃亡,销声匿迹长达一年之久。而在此期间,三个身份不明的男子和身边的人相遇了。曾自甘堕落的爱子(宫崎葵 饰)被父亲(渡边谦 饰)领回海滨小镇,邂逅了不善言辞的哲也(松山研一 饰)。在东京工作的同性恋优马(妻夫木聪 饰)将柔情似水的直人(绫野刚 饰)带回了家,他不相信对方,却又尝试去相信。随母亲搬到冲绳的小泉(广濑铃 饰)跟着同学辰哉(佐久本宝 饰)登上一座荒岛,在废墟中遇到了背包客田中(森山未来 饰),他们短暂成为朋友,而可怕的命运突然降临泉的头上。不久之后,通缉令遍布全国,三个男子的真实身份引人生疑……                                                                        本片根据吉田修一的同名原作改编。 看不见的客人                         / 布局(台) / The Invisible Guest 2016-09-23(奇幻电影节) / 2017-01-06(西班牙) / 马里奥·卡萨斯 / 阿娜·瓦格纳 / 何塞·科罗纳 / 芭芭拉·蓝妮 / 法兰西斯克·欧瑞拉 / 帕科·图斯 / 大卫·塞尔瓦斯 / 伊尼戈·加斯特西 / 珊·叶拉姆斯 / 马内尔·杜尔索 / 布兰卡·马丁内斯 /...   8.7 (54620人评价)   https://movie.douban.com/subject/26580232/

。。。。。结果一部分,黏贴不下渣代码了,选择用正则表达式会好很多。待改进。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值