我们都知道,虽然对于爬虫进行爬取的内容说的特别官方,专业的术语,总是让我们听得云里雾里,但是总的来说,大家应该都知道爬虫的基本流程吧,首先是将自己进行伪装,跟一个正常的登录使用人员一样,但是最终,别人只是看一遍知识,而我们是需要进行知识的获取的,这也就学会爬虫第一步要知道的内容,好啦话不多说,大家来了解看下吧~
先登录成功1次,获取到携带登陆信息的Cookie# 获取个人主页响应
def get_html(self):
print(html)
self.parse_html(html)
def parse_html(self,html):
pass
if __name__ == '__main__':
spider = RenRenLogin()
spider.get_html()
最终程序实现代码import requests
from lxml import etree
class RenrenSpider(object):
def __init__(self):
self.post_url =
self.get_url =
self.form_data = {
'email': '******', # 用户名
'password': '*******'} # 密码
self.session = requests.session()
好啦,大家如果如果想要去抓取页面内容,碰到需要登录才可以访问的网站,就可以利用上述小编给大家整理的文案内容了哦~如果还想了解更多好玩的知识,到官网查询哦~