爬虫-豆瓣电影-Xpath定位-影评写入CSV文件

summerG1

已于 2023-10-26 18:22:52 修改

阅读量1.1k

点赞数

分类专栏： Python 文章标签： csv文件 lxml.html

于 2018-09-10 10:03:28 首次发布

本文链接：https://blog.csdn.net/gmdjajy/article/details/82585632

版权

import requests
import lxml.html#Xpath就是根据一定的网页地址定位到某个值
import csv
import os


#访问url，获取网页信息
def get_douban_movie(taget_url):
    headers = {  # headers就是一个请求头
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }
    req = requests.get(url=taget_url, headers=headers)

    req.encoding='utf-8'
    return req.content


#从网页信息中，选择class=info中的整段信息，再从info中获取title,link等信息
#创建一个列表，将每个电影的内容存入一个字典中，将所有书的字典放在一个列表里面
def get_movie_info(source):
    selector = lxml.html.document_fromstring(source)
    info_data=selector.xpath('//div[@class="info"]')
    info_list=[]
    for eachinfo in info_data:
        info_dict={}
        title=eachinfo.xpath('div[@class="hd"]/a/span[@class="title"]/text()')[0]
        link=eachinfo.xpath('div[