python3编写知乎某话题爬虫应注意事项

1.请求头
在浏览器元素栏中寻找，一般保留HOST和User-Agent两项即可
2.文件的保存

#保存文件夹的准备
def save(text,filename='temp',path='/home/wanghuan/spider-learning/zhihu/download'):
#生成保存数据地址
     fpath=os.path.join(path,filename)
     #生成下载图片的地址
     with open(fpath,'wb+') as f:
          print('output:',fpath)
          f.write(text)

3.图片的保存

def save_image(image_url):
#从浏览器中获取图片的网络地址
     resp=requests.get(image_url)
     page=resp.content
     #截取图片的文件名（取后缀为zhimg.com）
     filename = image_url.split('zhimg.com/')[-1]
     save(page,filename)