用CSS方法提取网页内容

昨天用xpath提取了网页内容,今天用CSS方法重新提取一遍。
随便在伯乐在线找一篇文章,网址:http://blog.jobbole.com/113555/

 #通过CSS选择器提取网页的字段
        #标题
        title = response.css(".entry-header h1::text").extract_first()
        #发布日期
        create_data = response.css(".entry-meta-hide-on-mobile::text").extract()[0].strip()
        #标签
        tag_list = response.css(".entry-meta-hide-on-mobile a::text").extract()
        tag_list = [element for element in tag_list if not element.strip().endswith("评论")]
        tags = ",".join(tag_list)
        #点赞数
        praise_nums = response.css(".vote-post-up h10::text").extract_first()
        #收藏数
        fav_nums = response.css("span.btn-bluet-bigger:nth-child(2)::text").extract_first()
        match_re = re.match(".*?(\d+).*", fav_nums)
        if match_re:
            fav_nums = match_re.group(1)
        # 评论数
        comment_nums = response.css("a[href='#article-comment'] span::text").extract_first()
        match_re = re.match(".*?(\d+).*", comment_nums)
        if match_re:
            comment_nums = match_re.group(1)
        #正文
        content = response.css("div .entry").extract()[0]

通过debug调试,可以实现。
这里写图片描述
提取的内容保存为json格式,上一篇博文已经写到。
http://blog.csdn.net/shengshengshiwo/article/details/79248421

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值