python爬取猫眼电影Top100

目标：获取猫眼电影Top100

运用css选择器抓取数据，将数据存放在csv表格里

实现代码如下

import requests
import time
import csv
import parsel

def get_url(url):
    headers={
        'User-Agent': '自己的user-agent',
        'Cookie': '自己的cookie',
        'Host': 'maoyan.com',
        'Referer': 'https: // maoyan.com / board / 4?offset = 40'
    }
    response=requests.get(url=url,headers=headers,timeout=3)
    print('调用get')
    if response.status_code==200:
        return response.text
    else:
        return None

def parse_url():
    htmltext=get_url(url)
    selector=parsel.Selector(htmltext)
    content_list=selector.css('dd')
    global dit
    for lis in content_list:
        index=lis.css('i::text').get()
        name = lis.css('.name a::text').get()
        star = lis.css('.star::text').get().replace('主演：','')
        time = lis.css('.releasetime::text').get().replace('上映时间：','')
        score = lis.css('.integer::text').get()+lis.css('.fraction::text').get()
        dit = {
            '排名':index,
            '电影名称': name,
            '主演': star,
            '上映时间': time,
            '评分': score
        }
        print(dit)
        save_file()
        print('调用parse')
        print(type(dit))

def save_file():
    csv_writer.writerow(dit)

def main(page):
    global url
    url='https://maoyan.com/board/4?offset='+str(page)
    parse_url()
    print('调用main')

if __name__=='__main__':
    f = open('D://maoyanTop100.csv', 'a+', encoding='utf-8', newline='')
    csv_writer=csv.DictWriter(f,fieldnames=['排名','电影名称','主演','上映时间','评分'])
    csv_writer.writeheader()
    for i in range(10):
        main(page=i*10)
        time.sleep(2)
    print('下载完成')

CSS选择器	作用
i::text	获取所有< i >标签的 文本内容
.name a::text	获取所有class='name’下< a >标签的文本内容