爬虫
文章平均质量分 71
ACM_Fish
新地址 : https://li-fish.github.io/
展开
-
Python爬虫基础细节(urllib+cookielib+BeautifulSoup)
内容大概:简单介绍python如何下载网页发送post请求urllib/2模块的方法应用分析网页的post请求cookie处理利用BS分析网页(由于并没有系统的学过http之类的,可能会有错误,希望大家可以指出)urllib&cookielib:urllib模块只用到了urlencode方法,目的是将原来的字典post数据转化成特定的字符串格式,只用到了下面的一行代码。post_dat原创 2017-01-03 22:25:42 · 505 阅读 · 0 评论 -
Python爬取SDUTOJ比赛提交代码及批量提交(爬虫(伪))
需求:把自己之前在contest里面的代码提取出来。实现批量提交contest和problem里面的题目。 - 过程:总共大概花了4个小时,一晚上,一个类一个文件的方法写起来真的爽,一晚上没停住手。 自己首先写的是下载器,首先明确需求。可以模拟登陆。可以post请求。可以下载网页。为了省事,把提交题目的功能也整合里面了。代码如下,实现起来没啥困难,毕竟已经是轻车熟路了。# cod原创 2017-01-03 22:53:52 · 1295 阅读 · 3 评论