爬虫
狂飙的yellowcong
yellowcong
展开
-
爬虫之黑龙江科技大学 URP大战-yellowcong
爬虫的确是挺爽的,直接通过爬取服务器上的数据,然后可以做成APP或则自动发表到自己的网站上面去,我当时是想做URP学校APP的网站,当时想想,都毕业了,懒得做了,就做了一点关于成绩的爬取,希望各位看官拍砖。这个URP爬虫地址:http://git.oschina.net/yellowcong/urp原创 2017-07-22 10:43:07 · 3860 阅读 · 4 评论 -
Java之请求发送工具类(HttpClientUtils,爬虫)-yellowcong
Java发送请求,之前做过一段时间的爬虫,所以写了这个请求发送的工具,这个工具伪装成百度,然后去爬取推酷的数据,当时是由于推酷有ip访问限制,你如果是爬虫,就不让访问了,所以我伪装成了百度,然后就可以随便爬取推库的数据了,当时爬了1GB多的文字数据,然后图片数据大概有15GB左右,然而,我却根本没有用这些数据,只是爬下来了而已。。。。pom.xml依赖<dependenc...原创 2017-07-17 07:47:48 · 5787 阅读 · 0 评论 -
爬虫之窃取网络小说(1)-yellowcong
今天直播如何做爬虫,怕取人家网站的信息,这个小说我感觉不错,所以想下载下来,但是没有直接下载的地址,所以就把他网站给爬下来了,如有冒犯,请站长联系俺。原创 2017-11-24 09:50:23 · 10034 阅读 · 0 评论 -
爬虫之窃取网络小说(2,多线程爬虫)-yellowcong
在上一篇文章的基础上,爬虫之窃取网络小说(1),然后通过多线程的方式,实现多线程爬取网络小说,核心的代码是通过BlockingQueue来实现无锁的方式来解决这个多线程问题,如果使用notify和wait的方式,就相对慢了一些。原创 2017-11-24 10:52:13 · 1859 阅读 · 1 评论