以下是全部代码。
# coding=utf-8
import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Pool
def get_one_page(url):
try:
reseponse = requests.get(url)
if reseponse.status_code == 200:
return reseponse.text
return None
except RequestException:
return None
# 得到了网页后对html进行解析 ,注意下面的正则表达式,以《dd》开始,有一个数字标签,每个需要得到的标签前后都系要加进去。
def paese_one_page(html):
pattern = re.compile('<dd>.*?board-index.*?>(\d*)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>'
'.*?releasetime">(.*?)</p>.*?</dd>',re.S)
items = re.findall(pattern,html)
for item in items:
yield { # yied生成器对于items中每个item都
#要进行相同操的遍历
'index':item[0],
'image':item[1],
'title':item[2],
'actor':item[3].strip()[3:],
'time': item[4].strip()[5:],
}
def write_to_file(content):
with open('5.txt','a',encoding='utf-8') as f:
f.write(json.dumps(content,ensure_ascii=False) + '\n')
f.close()
def main(offset):
url = 'http://maoyan.com/board/4?offset=' +str(offset) # 定义的主函数
html = get_one_page(url)
for item in paese_one_page(html):
print(item)
write_to_file(item)
if __name__ == '__main__': # 这个是用来控制住函数main(),每当主函数主函数执行时,都会进行这个判断
#for i in range(10): 如果不用进程池可用这个
#main(i*10)
pool = Pool() # 定义一个进程,map中后面的参数不断的给前面的主函 数,迭代的过程,当有空的进程池时,后面的i提前完成mian函数,而不用进行等待(5.txt中并不是按照顺序来迭代)