爬虫
A__yes
这个作者很懒,什么都没留下…
展开
-
【Python爬虫】爬取个人博客的图片
今天看博客的时候发现了一个个人博客里面有两篇有很多图片的博文地址如下https://www.fifiblog.com/xiuxianyule/yangyanmeitu图片很多浏览器加载太慢了就用Python写了个小爬虫,下载下来再看。步骤如下 1.查看源码 可以看到图片地址格式为https://www.fifiblog.com/wp-content/uploads/2015原创 2015-09-28 12:35:03 · 1840 阅读 · 0 评论 -
【Python爬虫】爬取成绩计算绩点
昨天太忙了,就没写这篇博客,今天补上。 1.地址分析 在登陆页面打开开发者工具栏(要启用持续日志),随便输入点登陆,可以看到采用的是POST的方式提交的参数,有两个隐藏参数,并且用户名密码没有加密。记下提交地址http://jwgl.ntu.edu.cn/cjcx/Default.aspx和两个隐藏参数的值"__VIEWSTATE":"/wEPDwUJODExMDE5NzY5原创 2015-09-22 21:29:28 · 3863 阅读 · 0 评论 -
【Java爬虫】爬取南通大学教务系统成绩计算绩点
以前写过一个python版的,但是想做一个jsp网页版的,就又用Java有写了一下。 具体地址的分析过程在这里,这里简单说一下HttpCliet的Get,Post方法的使用 1.Get请求方法//创建一个浏览器客户端CloseableHttpClient httpClient = HttpClients.createDefault();//要Get的地址St原创 2015-11-07 16:16:32 · 4639 阅读 · 1 评论 -
【Python爬虫】爬取吴江旅游网的虚拟游的*.swf文件
最近在和朋友做点小东西,由于需要吴江旅游网的虚拟游的*.swf文件,就去看了点python爬虫的教程,然后写了个超级小的爬虫。步骤如下:1.分析地址,打开开发者工具箱,打开网络标签,然后再浏览网页,就可以看到它是用GET方法请求资源的,并且没有参数。2.构造URL,我预计他有30个for no in range(1,30): #print no if no<=9: na原创 2015-09-20 11:12:24 · 2573 阅读 · 0 评论