爬虫
文章平均质量分 95
ICoder_Next
数学抽象世界,物理改变世界
展开
-
爬虫——java实现2
文章目录1.WebMagic介绍1.1. 架构介绍1.2. WebMagic的四个组件1.Downloader2.PageProcessor3.Scheduler4.Pipeline1.3. 用于数据流转的对象1.4 入门案例1.创建maven工程,添加依赖2添加log4j的配置文件:3.编写爬虫代码:4.爬取的效果:2. WebMagic功能2.1. 实现PageProcessor2.1.1. ...原创 2019-12-31 13:46:05 · 220 阅读 · 0 评论 -
爬虫——java的实现(1)
文章目录1. 网络爬虫1.1. 爬虫入门程序1.1.1. 环境1.1.2. 环境准备1.1.3. java代码编写:2. 网络爬虫2.1. 网络爬虫介绍3. HttpClient3.1. GET请求3.2带参数的GET请求3.3POST请求3.4带参数的POST请求3.5连接池3.6 请求参数4.1. jsoup介绍4.2 jsoup解析4.2.1 解析url4.2.2解析字符串4.2.3解析文件...原创 2019-12-24 17:35:51 · 276 阅读 · 0 评论