- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 jsoup爬取百度瀑布流图片
是的,Java也可以做网络爬虫,不仅可以爬静态网页的图片,也可以爬动态网页的图片,比如采用Ajax技术进行异步加载的百度瀑布流。 以前有写过用Java进行百度图片的抓取,但只能抓取到第一二页,本博文则对此问题进行了深入研究,提出了另外一种思路解决问题。我的思路是这样的:以前人们总认为既然百度瀑布流是采用Javascript进行异步加载的,那么爬取图片至少要有一个模拟浏览器,比如Jav
2016-06-25 17:02:41 6615 12
原创 java爬取百度图片
公司智能分析部的一位同事遇到难题了,他正阵子做人脸识别,经理给他的图片来源都是外国图片,他想用中国的人脸来作测试,当然最好是中国明星,但是又嫌从百度上一张一张下载比较麻烦,于是找我帮个忙,看看能不能解决。恰巧之前用Java弄过从网络上下载图片,于是我就答应他工作之余一起来想办法。刚开始我用Jsoup来做,后来发现Jsoup获取不到百度图片的地址,因为百度图库的图片是JS异步加载的,网上找了很多资料
2016-06-22 23:22:30 8262 15
原创 Oracle用Loop循环实现大量CRUD操作
当我们需要进行复杂的语句进行操作又不想用Java进行拼接时,我们就可以利用数据库中自带的SQL语言,因为这种效率比较高。下面我给大家分享一个在Oracle中实现大量CRUD操作的例子,主要用到的是Loop循环。(背景:实习期间,主管给了一个任务,要求往电能表中插入3500万条模拟记录,大概占用7个G的硬盘空间)
2016-06-14 11:38:50 2609 1
原创 Java下载网络压缩包及解压
Java可以实现简单的网络爬虫,可以爬网络上的静态图和GIF图,也可以爬网络压缩包,如Zip压缩包和Rar压缩包,因为有些图片或者GIF图一张一张的下载比较麻烦,所以有的网址就提供一个本网页的文件压缩包,供用户下载,本文就以下载网络Zip压缩包的几点内容进行分享,主要内容是讲如何从某一网址批量下载Zip压缩包本地并把它们进行批量解压。
2016-06-02 08:37:10 3965 3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人