![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
孔汤姆
为什么不问问神奇的我呢
展开
-
@RequestMapping 和 @GetMapping @PostMapping 区别
@RequestMapping 和 @GetMapping @PostMapping 区别@RequestMapping 和 @GetMapping @PostMapping 区别@GetMapping是一个组合注解,是@RequestMapping(method = RequestMethod.GET)的缩写。@PostMapping是一个组合注解,是@Reques...原创 2019-04-28 11:42:38 · 587 阅读 · 0 评论 -
Java爬虫(一)
1.什么是爬虫?网络爬虫,即Web Spider自动化浏览网络中的信息,当然浏览信息的时候需要按照我们制定的规则进行,这些规则我们称之为网络爬虫算法。网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。爬虫一...原创 2019-05-19 11:03:24 · 379 阅读 · 0 评论 -
Java爬虫(二)-----爬虫的相关问题
1.爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取JS生成的信息么?不支持多线程、不支持代理、不能过滤重复URL的,那都不叫开源爬虫,那叫循环执行http请求。能不能爬js生成的信息和爬虫本身没有太大关系。爬虫主要是负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关,往往需要通过模拟浏览器(htmlunit,selenium)来完成。这些模拟浏览...原创 2019-05-19 11:10:35 · 434 阅读 · 0 评论 -
Java爬虫(三)-----httpclient的简单应用
任务:爬取懂球帝页面存在问题:没有解析页面同时存储数据持久化1.添加maven依赖<dependencies><dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</ar...原创 2019-05-19 11:25:41 · 348 阅读 · 1 评论 -
Java爬虫(四)框架的简单使用
1.什么是WebMagiWebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。http://webmagic.io/特性:简单的API,可快速上手 模块化的结构,可轻松扩展 提供多线程和分布式支持2.使用案例:1.添加maven依赖<dependencies> <de...原创 2019-05-19 11:44:43 · 1904 阅读 · 1 评论 -
httpclient入门系列(一)
一.httpclient的简单介绍HttpClient概述超文本传输协议(HTTP)可能是当今Internet上使用的最重要的协议。Web服务,支持网络的设备和网络计算的发展继续将HTTP协议的作用扩展到用户驱动的Web浏览器之外,同时增加了需要HTTP支持的应用程序的数量。尽管java.net包提供了通过HTTP访问资源的基本功能,但它并未提供许多应用程序所需的完全灵活性或功...原创 2019-06-10 16:25:44 · 237 阅读 · 0 评论