web crawler
文章平均质量分 61
喵喵木子
这个作者很懒,什么都没留下…
展开
-
http请求发送的几种方式
1、Socket长连接,底层的通信,一般不用。做游戏服务的一般用这个。2、jdk原生自带的请求方式。用的比较少。3、HttpClient:3.x,4.x,apache出品的一个专门用于网络请求的jar包,功能比较强大4、Jsoup:专业用于网页解析的一个工具,擅长解析网页。也可以发送HTTP请求,很方便。一般情况下用HTTPClient发送请求,jsoup解析网页。...原创 2018-07-06 17:30:53 · 2210 阅读 · 0 评论 -
jdk发送get请求和post请求,分别带参数和不带参数两种形式
1、get方式(参数直接写在URL后面):/** * jdk的get方式的请求发送 * * @throws Exception */ @Test public void RequestGet() throws Exception { // (1)、获取我们的请求的url对象,需要传入请求的连接地址 URL url = new URL("http://www.itca...原创 2018-07-06 17:49:57 · 3856 阅读 · 0 评论 -
HttpClient发送请求,get和post两种方式,分别带参数和不带参数
(一)、导入HttpCLient的jar包 <dependencies> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.原创 2018-07-06 20:11:11 · 33852 阅读 · 1 评论 -
Jsoup发送http请求,get和post两种方式,分别带参数和不带参数
(一)、导入Jsoup的相关jar包<dependency> <!-- jsoup HTML parser library @ https://jsoup.org/ --> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <...原创 2018-07-06 20:38:21 · 11971 阅读 · 1 评论 -
以获取网上某篇文章的标题为例,介绍Jsoup常用的四种选择器
jsoup常用的四种选择器第一种选择方式:通过节点名称以及class来属性来进行选择第二种选择方式:通过节点id来进行选择第三种方式:通过文档节点顺序来进行选择第四种方式:通过谷歌浏览器来进行帮助选择 public void getNewsTitle() throws Exception { // 通过调用parse方法,传递url就可以解析网页内容 // 请求网站,获取网页内容,封装成D...原创 2018-07-06 21:44:56 · 452 阅读 · 0 评论