![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
9.冄2.7.號
让你难过的事情,有一天,你一定会笑着说出来。
展开
-
网络爬虫使用教程
网络爬虫网络爬虫(Web crawler),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。爬虫入门小程序环境搭建JDK1.8IntelliJ IDEAIDEA自带的Maven(1)创建Maven工程itcast-crawler-first并给pom.xml加入依赖<dependencies> <!-- HttpClient --> ...原创 2019-09-13 04:53:30 · 2185 阅读 · 1 评论 -
网络爬虫------WebMagic使用教程
WebMagic介绍昨天完成了爬虫的入门的学习,是一个最基本的爬虫案例,今天我们要学习一款爬虫框架的使用就是WebMagic。其底层用到了我们上一天课程所使用的HttpClient和Jsoup,让我们能够更方便的开发爬虫。WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现,而扩展部分则包括一些便利的、实用性的功能。WebMagi...原创 2019-09-17 00:20:53 · 5455 阅读 · 0 评论