今天闲的没事,学习了一下爬虫方面的知识,然后用requests库实现了抓取猫眼网站top100电影,还是挺有意思的。
最近用到python比较多,也算是加强了python的运用吧 :-)
import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import pool # 引入进程池,多进程抓取
def get_one_page(url):
try:
headers={
"user-agent":