知乎爬取的要点

1. 搜索
2. 浏览器登录
3. 找到request url，一般是jspn数据，可在response一栏浏览返回值
4. 要登录才能爬取的数据，单独将该url复制浏览，并在改网页查找cookie，并及时更新，会变
5. user-agent
6. 利用json. cn网站查看改json数据结构，寻找key值
7. 总结不同结构数据的区别，在写代码时区分开
8. python 内自定定义函数的输入变量和返回变量很好用，要灵活使用，特别是将内容储存到list[]的时候，方便最后储存到excel不至于一坨
9. 一般是在主函数給一个空列表，作为输入变量到def，在del内存好数据后再返回主函数，供下一次继续输入def使用，前面的数据也还在
   10.读取和储存excel：pandas，或者xlsd
10. request和json是要登录才能爬取的必备