这次的主要任务是在一个网站下利用爬虫进行评论,然后为了优化代码学习了一点session的知识和cookie的存取。
言归正传,开始!
第一步,登录主页面
[*headers是爬虫的请求头,我学习的网站里查的,可以不用管,form_data1是写爬虫时在源代码上查的表单数据,由于请求方法是post,所以这里用的是requets.post ]
第二步,进入发表评论页面,要有小饼干才行
[*第二步时由于要登陆网站所以调用了一个小饼干,不然网站会显示未登录,要登陆了才能评论,网站是要评论的网站跟登录时的url不一样 ]
上面的代码基本上已经满足了我们利用爬虫进行评论的要求下面是对代码进行优化的步骤。
第三步,优化代码、使用session
[*使用session后,cookie可以自动保存,轻松实现我们的目的 ]
最后一步,灵活存取cookie
先存储cookie,把cookie转换成字典,再把字典转换成字符串存储
[*这里cookie_dict =requests.utils.dict_from_cookiejar(session.cookies)需要注意,跟后面读取cookie时有异曲同工之妙 ]
读取cookie,与存储cookie时相比进行了反向操作
[**调用了好几个方法]
今天的博客就写到这里咯,争渡~ 争渡~