爬虫实例3（进程池，正则表达式，json）

声明

程序是改变其他作者的，主要是为了学习多进程抓取网页和正则表达式解析网页

python代码

import requests
import re
import json
from multiprocessing import Pool
#获取网页HTML
def get_one_page(url):
    headers = {
        'User - Agent': 'Mozilla / 5.0(Windows NT 6.1;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 63.0.3239.132 Safari / 537.36'
    }
    response = requests.get(url, headers=headers)
    return response.text
#解析网页
def parse_one_page(html):
#使用正则表达式解析，获取电影名和链接地址
    pattern = re.compile(r'<li class="video_item.*?href=(.*?)title=(.*?)class',re.S)
    items=re.findall(pattern,html) ## 这个时候items是一个元组组成的列表
    for item in items:
        yield {
            "title": item[1],
            "URL": 'https://v.sogou.com'+str(item[0]).replace('"',""),#主要目的是拼接网址
        }
#将获取的信息保存在文件中
def write_to_file(content):
    with open('result.txt','a',encoding='utf8') as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')
        f.close()
#主函数
def main(offset):
    urls = ['https://v.sogou.com/film/list/page-'+str(offset)+'.html']
    #print(type(urls))
    for url in urls:
        #print(url)
        #获取网址
        html = get_one_page(url)
        #解析网页
        for item in parse_one_page(html):
            print(item)
            #写入文件
            write_to_file(item)
if __name__ == '__main__':
    pool = Pool(10)
    pool.map(main,[i for i in range(100)])