python 的学习笔记1--网页爬虫

最基本的两个库  requests  和  BeautifulSoup，requests主要为发送请求，BeautifulSoup为获取网页的便签。遇到问题的是requests的请求。

本想爬某求职网的一些关键词，帮助自己找工作，但无论怎么都爬不了网站的信息。后来找了很久才找到解决办法。

在requests.get里，加入headers = cookie 的内容就行了。

在谷歌浏览器F12可以查看到Network的cookie，全部输入即可。

不过到最后爬到的内容也是说我IP非法登陆，看来有不少网站开始对爬虫操作进行应对。没办法，只能手动一下一下找简历了。

这也是2020年的第一个笔记，希望新一年会更加好。加油~！