python爬虫学习小结（1）

python爬取豆瓣top250电影代码构造

0x01：环境准备

利用anaconda：清华镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

IDE:pycharm

0x02：构造思路

利用requests函数和re函数来进行构造，由于top250页面分成了10页，从而需要进行新的页面的跳转，而top250的名字我是利用正则表达式来进行提取的。利用循环来进行每页提取。再利用文件读写写入文件从而获得列表。

0x003：代码

import requests
import re
page = 0
for pag in range(0,10) :
content = requests.get(“https://movie.douban.com/top250?start=%d&filter=”%(page)).text
resluts = re.findall(’<li.*?(.*?)’, content, re.S)
print(page)
for result in resluts:
print(result)
with open(‘ttt.txt’, ‘a’) as f:
f.write(result + ‘\n’)
page = page + 25