Java爬虫
文章平均质量分 87
JAVA开发老菜鸟
知识改变命运,技术成就你我
展开
-
Java爬虫系列四:使用selenium-java爬取js异步请求的数据
在之前的系列文章中介绍了如何使用httpclient抓取页面html以及如何用jsoup分析html源文件内容得到我们想要的数据,但是有时候通过这两种方式不能正常抓取到我们想要的数据,比如看如下例子。1.需求场景:想要抓取股票的最新价格,页面F12信息如下:按照前面的方式,爬取的代码如下:/** * @description: 爬取股票的最新股价 * @author: JAVA开发老...原创 2021-10-17 11:46:00 · 2328 阅读 · 0 评论 -
Java爬虫系列三:使用Jsoup解析HTML
Java爬虫系列三:使用Jsoup解析HTML在上一篇随笔《Java爬虫系列二:使用HttpClient抓取页面HTML》中介绍了怎么使用HttpClient进行爬虫的第一步--抓取页面html,今天接着来看下爬虫的第二步--解析抓取到的html。有请第二步的主角:Jsoup粉墨登场。下面我们把舞台交给Jsoup,让他完成本文剩下的内容。============华丽的分割线======...原创 2019-05-25 16:08:00 · 694 阅读 · 1 评论 -
Java爬虫系列二:使用HttpClient抓取页面HTML
Java爬虫系列二:使用HttpClient抓取页面HTML爬虫要想爬取需要的信息,首先第一步就要抓取到页面html内容,然后对html进行分析,获取想要的内容。上一篇随笔《Java爬虫系列一:写在开始前》中提到了HttpClient可以抓取页面内容。今天就来介绍下抓取html内容的工具:HttpClient。围绕下面几个点展开: 什么是HttpClient HttpC...原创 2019-05-23 06:29:00 · 1455 阅读 · 1 评论 -
Java爬虫系列一:写在开始前
Java爬虫系列一:写在开始前最近在研究Java爬虫,小有收获,打算一边学一边跟大家分享下,在干货开始前想先跟大家啰嗦几句。一、首先说下为什么要研究Java爬虫Python已经火了很久了,它功能强大,其中很擅长的一个就是写爬虫程序。作为一名Javaer,想要写爬虫的话难道要学习python吗?想到这个问题我去度娘了下,其实java也可以写爬虫,只是需要的代码行数要比python多。...原创 2019-05-22 21:22:00 · 219 阅读 · 0 评论