用python爬虫登录github账户获取所有项目

最新推荐文章于 2024-04-08 10:58:04 发布

leezsj

最新推荐文章于 2024-04-08 10:58:04 发布

阅读量1.1k

点赞数 1

文章标签： python爬虫github登陆 python爬虫自动登陆

本文链接：https://blog.csdn.net/leezsj/article/details/85077230

版权

本文介绍如何使用Python3.5+版本的requests和beautifulsoup库，登录GitHub并获取个人账户的所有项目信息。首先安装所需库，然后获取登录页面的URL，通过解析页面获取authenticity_token，填充登录信息并提交，更新cookie，最终成功获取并查看项目信息。源码已开源在GitHub。

摘要由CSDN通过智能技术生成

分享自己今天刚学的用python爬虫登录github账户并获取所有的项目的信息

首先是环境，我装的是python3.5之后的版本

然后安装requests

pip install requests

安装beautifulsoup

pip install beautifulsoup4

然后导入requests和beautifulsoup两个库

from bs4 import BeautifulSoup
import requests

获取github的登陆网址

url = requests.get('https://github.com/login')

存到url这个变量中

用beautifulsoup获取源码

soup1 = BeautifulSoup(url.text,features='html.parser')

找到input框获取名为authenticity_token的属性

获取这个属性的值authenticity_token = tag.get('value')

存cookie值c1=url.cookies.get_dict()

传入要填入的内容

form_data = {
    'authenticity_token':authenticity_token,
    'utf8':'',
    'commit':'Sign in',
    'login':"",#you github email
    'password':""#you password
}

要提交的内容