![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫练习
crj1998
EECS
展开
-
Postman与Python requests
用谷歌浏览器自带的调试工具查看网页请求,再用Postman来模拟请求,最后再用requests实现。但是这几步骤之间可能有一些问题。 key-value的坑 如果你直接从F12调试工具中复制请求内容,然后以Bulk Edit的形式复制到Postaman中,你很有可能发现请求体完全一样,但就是返回400等错误数据。这是因为忽视了key-value中的空格,Bulk Edit转换为键值对的形式时,空格...原创 2020-01-01 14:12:07 · 1303 阅读 · 0 评论 -
上海交通大学ACM Online Judge 评测状态的爬取
博主刚刚学习Python爬虫没多久,大概对requests库、BeautifulSoup库有所了解,准备找个网站练练手,于是就选了OJ。 首先是使用requests库获得网页的html文本,这都是有各种框架了,就不再赘述。def getHTML(url): try: head={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)原创 2017-11-02 12:58:14 · 3267 阅读 · 0 评论