Python爬取猫眼电影排行-xpath

抓取的网站如下:

一.抓取单页内容html:

利用requests请求目标站点,得到单个网页的html代码,返回结果,因为此网站没有登陆,因此在headers传入时比较简便,只用传入user_agent即可;

中间加上一个方法,即如果返回响应的状态码为200时返回html,否则返回空;

二.通过xpath来提取想要的数据

首先确定想要的数据,在这里有:电影标题,电影主演,电影上映的时间;

接着通过chrom的开发者模式对想要选中的内容copy xpath,这里注意copy的xpath为一个内容,可以通过ctrl+F对带有列表的从左到后进行删除,删除至1 of n即可;

在分页处理上,一般换页而url改变的网站的分页有两种方式:一种是改变page参数,一种是改变offset偏移量,在这里通过改变offset的偏移量,每次改变10,通过for控制外层循环即可;

三.将上述数据按照字典形式保存,最后保存为json格式

保存为json时,会出现保存的文件乱码的情况,即该保存的为二进制,只要将其转换为utf-8编码即可;

def save_json(data):
    with open('data.json','a',encoding='utf-8') as file:
        file.write(json.dumps(data,ensure_ascii=False)+'\n')

 

爬取结果如下:

完整代码如下:

import requests
import json
from requests.exceptions import RequestException
from lxml import etree
import time
from multiprocessing import Pool
from urllib.parse import urljoin
import json

num = 10
def get_one_page(url):
    try:
        headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36'
        }
        response = requests.get(url,headers = headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    html = etree.HTML(html)
    movie_title = html.xpath('//*[@id="app"]/div/div/div/dl/dd/div/div/div/p/a//text()')
    movie_people = html.xpath('//*[@id="app"]/div/div/div/dl/dd/div/div/div[1]/p[2]/text()')
    movie_time = html.xpath('//*[@id="app"]/div/div/div/dl/dd/div/div/div[1]/p[3]/text()')

    for i in range(num):
        movie = {}
        movie['title'] = movie_title[i]
        movie['people'] = movie_people[i].strip()
        movie['time'] = movie_time[i]
        yield movie

def save_json(data):
    with open('data.json','a',encoding='utf-8') as file:
        file.write(json.dumps(data,ensure_ascii=False)+'\n')

def main(offset):
    url = "http://maoyan.com/board/4?offset={}".format(offset)
    html = get_one_page(url)
    result = parse_one_page(html)
    result = list(result)
    print(result)
    save_json(result)
if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)

 

 

发布了152 篇原创文章 · 获赞 127 · 访问量 28万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览