声明
程序是改变其他作者的,主要是为了学习多进程抓取网页和正则表达式解析网页
python代码
import requests
import re
import json
from multiprocessing import Pool
#获取网页HTML
def get_one_page(url):
headers = {
'User - Agent': 'Mozilla / 5.0(Windows NT 6.1;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 63.0.3239.132 Safari / 537.36'
}
response = requests.get(url, headers=headers)
return response.text
#解析网页
def parse_one_page(html):
#使用正则表达式解析,获取电影名和链接地址
pattern = re.compile(r'<li class="video_item.*?href=(.*?)title=(.*?)class',re.S)
items=re.findall(pattern,html) ## 这个时候items是一个元组组成的列表
for item in items:
yield {
"title": item[1],
"URL": 'https://v.sogou.com'+str(item[0]).replace('"',""),#主要目的是拼接网址
}
#将获取的信息保存在文件中
def write_to_file(content):
with open('result.txt','a',encoding='utf8') as f:
f.write(json.dumps(content,ensure_ascii=False)+'\n')
f.close()
#主函数
def main(offset):
urls = ['https://v.sogou.com/film/list/page-'+str(offset)+'.html']
#print(type(urls))
for url in urls:
#print(url)
#获取网址
html = get_one_page(url)
#解析网页
for item in parse_one_page(html):
print(item)
#写入文件
write_to_file(item)
if __name__ == '__main__':
pool = Pool(10)
pool.map(main,[i for i in range(100)])