爬虫
ywl470812087
个人简介:深耕物联网行业,ERP,CSDN博客专家。 任职华为网联网智慧照明、空调资深工程师,并且上线投产使用,研发企业亿量级吞吐中间件。 擅长 Java语言、C语言等。
展开
-
java获取远程网络图片文件流、压缩保存到本地
1.获取远程网路的图片 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 /** * 根据地址获得数据的字节流 * ...原创 2019-04-08 18:08:04 · 125334 阅读 · 1 评论 -
使用JAVA爬取博客里面的所有文章
主要思路: 1、找到列表页。 2、找到文章页。 3、用一个队列来保存将要爬取的网页,爬取队头的url,如果队列非空,则一直爬取。 4、如果是列表页,则抽取里面所有的文章url进队;如果是文章页,则直接爬取至本地。 一个博客是起始页url是这样的: http://www.cnblogs.com/joyeecheung/ 第n页是这样的: http://www.cnblogs.c...原创 2019-04-13 23:31:37 · 132134 阅读 · 0 评论 -
JAVA爬取亚马逊的商品信息
在程序里面输入你想爬取的商品名字,就可以返回这件商品在亚马逊搜索中都所有相关商品的信息,包括名字和价格。 解决了在爬取亚马逊时候,亚马逊可以识别出你的爬虫,并返回503,造成只能爬取几个页面的问题。 除此之外亚马逊网页代码写得非常的乱啊(可能是我个人问题?),要想提取里面的信息非常麻烦。 纯JAVA编写,用的都是java自带的库。 先展示一下效果图: 商品页面: 爬取的信息页...转载 2019-04-13 23:52:09 · 110436 阅读 · 2 评论