上次使用beautifulsoup 爬取了猫眼电影TOP100,这次利用最近学习的pyquery再次实战了,感觉比bs4比较好用。
下面分享代码如下,欢迎交流。
from pyquery import PyQuery as pq
import requests
import os
import time
begin = time.clock() # 添加程序运行计时功能。
file_path = 'D:\python3.6\scrapy\猫眼' # 定义文件夹,方便后续check文件夹是否存在
file_name = 'maoyan.txt' # 自定义命名文件名称,
file = file_path+'\\'+file_name # 创建文件全地址,方便后续引用
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
start = "http://maoyan.com/board/4" # 获取url的开始页
flage='?offset=' # url 变化的标志
node='dd' # 目标url 对应html 中目标节点
step=10 # url 变化的步进长度
length=100 # url 变化的max
def create_file(file_path,file): # 定义 检查和创建目标文件夹和文件的函数
if os.path.exists(file_path)== False: # check文件夹不存在
os.ma