![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
借汝之光,得以光明
不平凡的人生注定不平凡的路。
展开
-
httpClient的使用:数据库连接池的API
1、为什么要是用连接池?降低了频繁建立HTTP连接的时间开销,减少了TCP连接建立和释放时socket通信服务器端资源的浪费;支持更高的并发量;2、常用HttpClient连接池API本文使用的是目前最新版本的HttpClient4.5.3,所以下文的内容都是基于该版本书写。PoolingHttpClientConnectionManager连接池管理实现类PoolingHttp...转载 2019-11-06 10:59:37 · 744 阅读 · 0 评论 -
httpClient的使用:普通的GET和POST请求
1、HttpGet请求响应的一般步骤1、创建HttpClient对象,可以使用HttpClients.createDefault();2、 如果是无参数的GET请求,则直接使用构造方法HttpGet(String url) 创建HttpGet对象即可;如果是带参数GET请求,则可以先使用URIBuilder(String url) 创建对象,再调用addParameter(String p...转载 2019-11-06 10:35:49 · 339 阅读 · 0 评论 -
网络爬虫之java 连接池的使用以及设置请求的参数
连接池1、为什么要用连接池如果每一次请求都要创建HttpClient,会有频繁创建和销毁的问题,可以使用连接池来解决这个问题。如何创建项目请看:https://blog.csdn.net/weixin_44588495/article/details/905807222、创建连接池对象利用PoolingHttpClientConnectionManager类创建。必须要设置最大的连接数和...原创 2019-05-26 22:17:05 · 2491 阅读 · 0 评论 -
网络爬虫之java HttpClient-Post
利用HttpClient-Post去爬取数据1、网络爬虫方法简述:其实网络爬虫就跟我们人用浏览器去访问一个网页套路是一样的,都是分为四个部分:打开浏览器:创建HttpClient对象。输入网址:创建发起Post请求,创建HttpPost对象。按回车:发起请求,返回响应,使用httpClient发送请求。解析响应获取请求:判断状态码是否是200,如果为200就是访问成功了。最后关闭r...原创 2019-05-26 21:37:24 · 2001 阅读 · 0 评论 -
网络爬虫之java HttpClient-Get
利用HttpClient-Get去爬取数据1、网络爬虫方法简述:其实网络爬虫就跟我们人用浏览器去访问一个网页套路是一样的,都是分为四个部分:打开浏览器:创建HttpClient对象。输入网址:创建发起Get请求,创建HttpGet对象。按回车:发起请求,返回响应,使用httpClient发送请求。解析响应获取请求:判断状态码是否是200,如果为200就是访问成功了。最后关闭resp...原创 2019-05-26 21:29:06 · 1654 阅读 · 0 评论 -
网络爬虫之java 项目搭建
创建网络爬虫项目1、创建一个maven项目直接看图就好。2、修改目录:添加文件3、修改配置修改pom.xml主要用到的就是httpclient。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:x...原创 2019-05-26 21:11:51 · 2114 阅读 · 0 评论 -
网络爬虫之java jsoup解析信息
1、jsoup介绍jsoup是一款java的HTML解析器,可直接解析某个URL地址、HTML文件内容。它提供了一套非常省力的API,可通过DOM、CSS以及类似Jquery的操作方法取出和操作数据。jsoup的主要功能如下:从一个URL,文件或者字符串中解析HTML。使用DOM或者CSS选择器来直接查找、取出数据。可操作HTML元素、属性、文本。2、jsoup和HttpCli...原创 2019-05-27 00:37:58 · 1687 阅读 · 0 评论 -
网络爬虫之java 爬取京东手机数据案例
1、明确我们要爬取的数据都有什么本文章适合对了解maven和springMVC框架的人更有帮助1、京东的url:https://search.jd.com/Search?keyword=手机&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=手机&cid2=653&cid3=655&s=56&a...原创 2019-05-31 23:39:43 · 4479 阅读 · 6 评论