爬虫
文章平均质量分 71
ACM_Fish
新地址 : https://li-fish.github.io/
展开
-
Python爬虫基础细节(urllib+cookielib+BeautifulSoup)
内容大概: 简单介绍python如何下载网页 发送post请求 urllib/2模块的方法应用 分析网页的post请求 cookie处理 利用BS分析网页 (由于并没有系统的学过http之类的,可能会有错误,希望大家可以指出)urllib&cookielib:urllib模块只用到了urlencode方法,目的是将原来的字典post数据转化成特定的字符串格式,只用到了下面的一行代码。post_dat原创 2017-01-03 22:25:42 · 535 阅读 · 0 评论 -
Python爬取SDUTOJ比赛提交代码及批量提交(爬虫(伪))
需求: 把自己之前在contest里面的代码提取出来。 实现批量提交contest和problem里面的题目。 - 过程:总共大概花了4个小时,一晚上,一个类一个文件的方法写起来真的爽,一晚上没停住手。 自己首先写的是下载器,首先明确需求。 可以模拟登陆。 可以post请求。 可以下载网页。 为了省事,把提交题目的功能也整合里面了。 代码如下,实现起来没啥困难,毕竟已经是轻车熟路了。# cod原创 2017-01-03 22:53:52 · 1371 阅读 · 3 评论