从0开始学爬虫10之urllib和requests库与github/api的交互

最新推荐文章于 2024-04-07 11:02:44 发布
最新推荐文章于 2024-04-07 11:02:44 发布
阅读量164 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/reblue520/article/details/97068853
版权

urllib库的使用

# coding=utf-8
import urllib2
import urllib

# htpbin模拟的环境
URL_IP="http://10.11.0.215:8080"
URL_GET = "http://10.11.0.215:8080/get"


def use_simple_urllib2():
    response = urllib2.urlopen(URL_IP)
    print '>>>> Response Headers:'
    print response.info()
    print '>>>>Response Body:'
    print ''.join([line for line in response.readlines()])


def use_params_urllib2():
    # 构建请求参数
    params = urllib.urlencode({'param1': 'hello','param2': 'world'})
    print 'Request Params:'
    print params
    # 发送请求
    response = urllib2.urlopen('?'.join([URL_GET, '%s']) % params)
    # 处理响应
    print '>>>Response Headers:'
    print response.info()
    print '>>>Status code'
    print response.getcode()
    print '>>>Response Body'
    print ''.join([line for line in response.readlines()])
    # print response.readlines()


if __name__ == '__main__':
    # print '>>>Use simple urllib2'
    # use_simple_urllib2()
    print '>>>Use params urllib2'
    use_params_urllib2()

requests库的简单使用

# coding=utf-8

import requests

URL_IP="http://10.11.0.215:8080/ip"
URL_GET="http://10.11.0.215:8080/get"


def use_simple_requests():
    response = requests.get(URL_IP)
    print ">>>Response Headers:"
    print response.headers
    print ">>>Response Code:"
    print response.status_code
    print "Response Body:"
    print response.text


def use_params_requests():
    response = requests.get(URL_GET)
    print ">>>Response Headers:"
    print response.headers
    print ">>>Response Code:"
    print response.status_code
    print response.reason
    print "Response Body:"
    print response.json()


if __name__ == "__main__":
    # print "simple requests:"
    # use_simple_requests()
    print "params requests:"
    use_params_requests()

requests和github api的互动

# coding=utf-8
import json
import requests
from requests import exceptions


URL = "https://api.github.com"


def build_uri(endpoint):
    # 拼凑url为最终的api路径
    return '/'.join([URL, endpoint])


def better_print(json_str):
    # 格式化输出， indent=4是缩进为4个空格
    return json.dumps(json.loads(json_str), indent = 4)


def request_method():
    # 获取用户信息
    # response = requests.get(build_uri('users/reblue520'))
    # response = requests.get(build_uri('user/emails'), auth=('reblue520', 'reblue520'))
    response = requests.get(build_uri('user/public_emails'), auth=('reblue520', 'reblue520'))
    print(better_print(response.text))


def params_request():
    response = requests.get(build_uri('users'), params={'since':11})
    print better_print(response.text)
    print response.request.headers
    print response.url


def json_request():
    # 更新用户信息，邮箱必须是已经验证过的邮箱
    # response = requests.patch(build_uri('user'), auth=('reblue520','reblue520'),json={'name':'hellojack2019','email':'reblue520@163.com'})
    response = requests.post(build_uri('user/emails'), auth=('reblue520','Reblue0225520'),json=['hellojack2019@163.com'])
    print better_print(response.text)
    print response.request.headers
    print response.request.body
    print response.status_code


def timeout_request():
    # api异常处理：超时
    try:
        response = requests.get(build_uri('user/emails'), timeout=10)
        response.raise_for_status()
    except exceptions.Timeout as e:
        print e.message
    except exceptions.HTTPError as e:
        print e.message
    else:
        print response.status_code
        print response.text


def hard_requests():
    # 自定义request
    from requests import Request, Session
    s = Session()
    headers = {'User-Agent': 'fake1.3.4'}
    req = Request('GET', build_uri('user/emails'), auth=('reblue520', 'Reblue0225520'), headers=headers)
    prepped = req.prepare()
    print prepped.body
    print prepped.headers

    resp = s.send(prepped, timeout = 5)
    print resp.status_code
    print resp.request.headers
    print resp.text


if __name__ == '__main__':
    # request_method()
    # params_request()
    # json_request()
    # timeout_request()
    hard_requests()

 response响应的常用api

响应的基本API
In [1]: import requests                                                                                                                                                                                              

In [2]: response = requests.get("https://api.github.com")                                                                                                                                                            

In [3]: response.status_code                                                                                                                                                                                         
Out[3]: 200

In [4]: response.reason                                                                                                                                                                                              
Out[4]: 'OK'

In [5]: response.headers                                                                                                                                                                                             
Out[5]: {'Date': 'Sat, 20 Jul 2019 03:48:51 GMT', 'Content-Type': 'application/json; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Server': 'GitHub.com', 'Status': '200 OK', 'X-RateLimit-Limit': '60', 'X-RateLimit-Remaining': '47', 'X-RateLimit-Reset': '1563598131', 'Cache-Control': 'public, max-age=60, s-maxage=60', 'Vary': 'Accept, Accept-Encoding', 'ETag': 'W/"7dc470913f1fe9bb6c7355b50a0737bc"', 'X-GitHub-Media-Type': 'github.v3; format=json', 'Access-Control-Expose-Headers': 'ETag, Link, Location, Retry-After, X-GitHub-OTP, X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset, X-OAuth-Scopes, X-Accepted-OAuth-Scopes, X-Poll-Interval, X-GitHub-Media-Type', 'Access-Control-Allow-Origin': '*', 'Strict-Transport-Security': 'max-age=31536000; includeSubdomains; preload', 'X-Frame-Options': 'deny', 'X-Content-Type-Options': 'nosniff', 'X-XSS-Protection': '1; mode=block', 'Referrer-Policy': 'origin-when-cross-origin, strict-origin-when-cross-origin', 'Content-Security-Policy': "default-src 'none'", 'Content-Encoding': 'gzip', 'X-GitHub-Request-Id': '33D9:591B:9D084B:CF860E:5D328F23'}

In [6]: response.url                                                                                                                                                                                                 
Out[6]: 'https://api.github.com/'

In [7]: response.history                                                                                                                                                                                             
Out[7]: []

In [8]: response = requests.get("http://api.github.com")                                                                                                                                                             

In [9]: response.history                                                                                                                                                                                             
Out[9]: [<Response [301]>]

In [10]: response = requests.get("https://api.github.com")                                                                                                                                                           

In [11]: response.elapsed                                                                                                                                                                                            
Out[11]: datetime.timedelta(microseconds=459174)

In [12]: response.request                                                                                                                                                                                            
Out[12]: <PreparedRequest [GET]>

In [13]: response.request.headers                                                                                                                                                                                    
Out[13]: {'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

In [14]: response.encoding                                                                                                                                                                                           
Out[14]: 'utf-8'

In [15]: response.raw.read(10)                                                                                                                                                                                       
Out[15]: b''

In [16]: response.content                                                                                                                                                                                            
Out[16]: b'{"current_user_url":"https://api.github.com/user","current_user_authorizations_html_url":"https://github.com/settings/connections/applications{/client_id}","authorizations_url":"https://api.github.com/authorizations","code_search_url":"https://api.github.com/search/code?q={query}{&page,per_page,sort,order}","commit_search_url":"https://api.github.com/search/commits?q={query}{&page,per_page,sort,order}","emails_url":"https://api.github.com/user/emails","emojis_url":"https://api.github.com/emojis","events_url":"https://api.github.com/events","feeds_url":"https://api.github.com/feeds","followers_url":"https://api.github.com/user/followers","following_url":"https://api.github.com/user/following{/target}","gists_url":"https://api.github.com/gists{/gist_id}","hub_url":"https://api.github.com/hub","issue_search_url":"https://api.github.com/search/issues?q={query}{&page,per_page,sort,order}","issues_url":"https://api.github.com/issues","keys_url":"https://api.github.com/user/keys","notifications_url":"https://api.github.com/notifications","organization_repositories_url":"https://api.github.com/orgs/{org}/repos{?type,page,per_page,sort}","organization_url":"https://api.github.com/orgs/{org}","public_gists_url":"https://api.github.com/gists/public","rate_limit_url":"https://api.github.com/rate_limit","repository_url":"https://api.github.com/repos/{owner}/{repo}","repository_search_url":"https://api.github.com/search/repositories?q={query}{&page,per_page,sort,order}","current_user_repositories_url":"https://api.github.com/user/repos{?type,page,per_page,sort}","starred_url":"https://api.github.com/user/starred{/owner}{/repo}","starred_gists_url":"https://api.github.com/gists/starred","team_url":"https://api.github.com/teams","user_url":"https://api.github.com/users/{user}","user_organizations_url":"https://api.github.com/user/orgs","user_repositories_url":"https://api.github.com/users/{user}/repos{?type,page,per_page,sort}","user_search_url":"https://api.github.com/search/users?q={query}{&page,per_page,sort,order}"}'

In [17]: response.json()                                                                                                                                                                                             
Out[17]: 
{'current_user_url': 'https://api.github.com/user',
 'current_user_authorizations_html_url': 'https://github.com/settings/connections/applications{/client_id}',
 'authorizations_url': 'https://api.github.com/authorizations',
 'code_search_url': 'https://api.github.com/search/code?q={query}{&page,per_page,sort,order}',
 'commit_search_url': 'https://api.github.com/search/commits?q={query}{&page,per_page,sort,order}',
 'emails_url': 'https://api.github.com/user/emails',
 'emojis_url': 'https://api.github.com/emojis',
 'events_url': 'https://api.github.com/events',
 'feeds_url': 'https://api.github.com/feeds',
 'followers_url': 'https://api.github.com/user/followers',
 'following_url': 'https://api.github.com/user/following{/target}',
 'gists_url': 'https://api.github.com/gists{/gist_id}',
 'hub_url': 'https://api.github.com/hub',
 'issue_search_url': 'https://api.github.com/search/issues?q={query}{&page,per_page,sort,order}',
 'issues_url': 'https://api.github.com/issues',
 'keys_url': 'https://api.github.com/user/keys',
 'notifications_url': 'https://api.github.com/notifications',
 'organization_repositories_url': 'https://api.github.com/orgs/{org}/repos{?type,page,per_page,sort}',
 'organization_url': 'https://api.github.com/orgs/{org}',
 'public_gists_url': 'https://api.github.com/gists/public',
 'rate_limit_url': 'https://api.github.com/rate_limit',
 'repository_url': 'https://api.github.com/repos/{owner}/{repo}',
 'repository_search_url': 'https://api.github.com/search/repositories?q={query}{&page,per_page,sort,order}',
 'current_user_repositories_url': 'https://api.github.com/user/repos{?type,page,per_page,sort}',
 'starred_url': 'https://api.github.com/user/starred{/owner}{/repo}',
 'starred_gists_url': 'https://api.github.com/gists/starred',
 'team_url': 'https://api.github.com/teams',
 'user_url': 'https://api.github.com/users/{user}',
 'user_organizations_url': 'https://api.github.com/user/orgs',
 'user_repositories_url': 'https://api.github.com/users/{user}/repos{?type,page,per_page,sort}',
 'user_search_url': 'https://api.github.com/search/users?q={query}{&page,per_page,sort,order}'}

 

reblue520
关注
Scrapy爬虫框架 Requests and Responses 请求和响应
Mr数据杨
02-01 3万+
在本教程中，我们系统地讲解了如何使用Python的requests库来处理HTTP请求和响应。从基本的请求对象和响应对象操作，到错误处理、请求元数据的使用，以及如何处理特定类型的响应，本教程覆盖了网络编程中的关键概念和实用技巧。希望这份教程能帮助你在自学编程的道路上更进一步。如果遇到任何疑问或需要进一步的指导，建议多实践并参考官方文档或相关资料。网络编程是一个非常实用的技能，掌握它将为你的编程之路打开更多可能性。
爬虫学习打卡1——urllib库和requests库
Leo_Huang720的博客
08-03 812
urllib库 requests库 环境：Anaconda3（python3.5） urllib库 使用urllib构建一个请求和响应模型 import urllib strUrl=&amp;amp;amp;quot;https://www.baidu.com/&amp;amp;amp;quot; response=urllib.request.urlopen(strUrl) print (response.read()) 运行返回： run...
使用Python通过API对Github进行爬虫的思路
Always-Learning
02-06 1670
一、从GitHub Advisory上获取Rust漏洞数据的方法 执行下面的语句即可： python github_advisory_rust_vulnerability_first.py 增量更新方法 执行下面的语句即可： python github_advisory_rust_update.py 二、获取Cargo的第三方依赖数据的方法 执行下面的程序 python3 Get_Cargo_First.py python3 clean_dataset.py 将cargo数据集：carg
Requests库的几种请求 - 通过API操作Github
weixin_30386713的博客
03-04 206
本文内容来源：https://www.dataquest.io/mission/117/working-with-apis 本文的数据来源：https://en.wikipedia.org/wiki/International_Space_Station 本文摘要：通过requests库和github的api来操作github仓库，从而熟悉一下与网络数据交互的过程 API（Appl...
python api测试框架 github_使用Python的requests库测试github API时遇到的问题
weixin_35395562的博客
03-01 140
def json_post():# response = requests.post(build_uri("user/emails"), auth=("XXXXXXXXXXXX@163.com", "XXXXXXXXXX"),# json=["test@163.com"])response = requests.delete(build_uri("...
基于urllib的接口测试框架
02-05
这个自动化框架要实现什么功能： 从Excel里提取出测试用例，包括请求方式、url地址、入参等。 测试报告的输出，并且测试报告得包括执行的测试用例数量、成功的数量、失败的数量 以及哪条用例失败了，失败的是哪一个，失败的原因是什么。 测试报告用什么形式输出，Excel，还是html，还是其他的，这里我选择了Excel。 配置文件需要配置什么东西。 --------------------- 作者：qq_34800003 来源：CSDN 原文：https://blog.csdn.net/qq_34800003/article/details/86765659 版权声明：本文为博主原创文章，转载请附上博文链接！
如何用Python编写简单的网络爬虫（页面代码简单分析过程）
最新发布
weixin_60535956的博客
04-07 2216
在当今信息爆炸的时代，网络上蕴藏着大量宝贵的信息，如何高效地从中获取所需信息成为了一个重要课题。网络爬虫（Web crawler）作为一种自动化工具，可以帮助我们实现这一目标，用于数据分析、搜索引擎优化、信息监测等目的。由于Python语言有易学、丰富的库和爬虫框架、多线程支持、跨平台支持和强大的数据处理能力等特点，在编写爬虫方面具有得天独厚的优势，这些优势使得Python成为爬虫开发的首选语言。本文介绍了一般网络爬虫的实现过程，并介绍如何Python语言编写一个简单的网络爬虫。
使用Python爬虫库requests发送表单数据和JSON数据
12-20
在Python的网络爬虫开发中，`requests`库是一个...通过上述方法，你可以更有效地与服务器交互，获取和发送所需的数据。同时，配合其他库如`BeautifulSoup`, `selenium`, `urllib`等，可以构建出功能强大的爬虫系统。
Python爬虫的长文总结，requests与selenium操作合集
MC_XY的博客
12-28 2000
requests模块 前言： 通常我们利用Python写一些WEB程序、webAPI部署在服务端，让客户端request，我们作为服务器端response数据； 但也可以反主为客利用Python的requests模块模拟浏览器行为，向其他站点发送request，让其他站点response数据给我们； 私信小编001即可获取大量Python学习资料！ 一、requests模块介绍 requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（其本质就是封装了ur.
urllib库与requests库爬虫
Xiang_lhh的博客
04-05 2986
首先介绍urllib库爬取网页内容。 需要lxml，urllib库 以我的博客为例爬取相关资料 import urllib.parse import lxml.html import urllib.request import time url='https://blog.csdn.net/Xiang_lhh/article/details/104940609' # resp=urllib.req...
超链接跳转返回时接口报错 Strict-origin-when-cross-origin
qq_42176482的博客
01-17 6380
Back-forward cache导致Strict-origin-when-cross-origin。接口状态为pending。
关于strict-origin-when-cross-origin404请求的问题
qq_42982715的博客
06-07 1万+
这是第一篇博客，因为今天出现了这个很坑的问题写的，在测试环境下没问题，但是网站部署到服务器上出现了这个错误，在进行一系列的排查之后，最后发现是因为机房的问题，代码不规范导致WAF策略将其访问识别成了攻击给拦截掉了 。最后联系机房工作人员解决了，希望大家别踩雷啊。 ......
github数据怎么Python爬取
nnn0245的博客
11-28 962
github数据怎么Python爬取呢
使用Python的requests库测试github API时遇到的问题
dy20082250的专栏
10-01 723
def json_post(): # response = requests.post(build_uri("user/emails"), auth=("XXXXXXXXXXXX@163.com", "XXXXXXXXXX"), # json=["test@163.com"]) response = requests.del
爬虫入门与urllib&requests
jolinoy的博客
01-03 992
我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么?我们看一下一个浏览器请求的全过程接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么?非也~ 这里要介绍一个新的概念那就是页面渲染数据的过程, 我们常见的页面渲染过程有两种,服务器渲染, 你需要的数据直接在页面源代码里能搜到这个最容易理解, 也是最简单的. 含义呢就是我们在请求到服务器的时候, 服务器直接把数据全部写入到html中, 我们浏览器就能直接拿到带有数据的html内容. 比如,
strict-origin-when-cross-origin样式404问题
weixin_53707040的博客
04-21 1万+
这是由于静态资源跨域问题导致没有找到资源 解决方案：只需在控制器上加注解@CrossOrigin 就可解决
Github API: 用python爬取相关数据
腼腆的偷听桃的博客
05-31 3813
教科书般的API接口信息Github作为一个出色的代码托管平台，也为开发者们提供了结构非常清晰的API接口信息，浏览器安装json插件后阅读更佳。详细的开发者文档想了解相关参数设置和可爬取的数据，可阅读Github Developer Guide爬取目标："digital,library"主题下的开源项目合作情况，包含加权贡献值commit,additions,deletions.注意事项：Git...
SSO 访问失败Referrer Policy: strict-origin-when-cross-origin
热门推荐
ppwwp的专栏
03-10 1万+
Referrer Policy: strict-origin-when-cross-origin 原因居然是因为 端口6666 为不安全的端口 换成8443可以了 ，nima。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值