webmagic
文章平均质量分 59
钟HL
保持对生活工作的热度与态度;坚持自己的坚持;专注自己的专注;
展开
-
WebMagic(一)-----初步使用
参考文档:http://webmagic.io/docs/zh1:创建maven项目(官方推荐使用maven)我使用myeclipse创建后包结构如图所示:也可以使用创建普通的Java项目导入相关jar包,如图所示下载路径:https://download.csdn.net/download/qq_39769369/106927392、配置pom.xml ----引入w...原创 2018-09-28 11:57:24 · 3842 阅读 · 0 评论 -
WebMagic(二)-------简单使用
一:实现功能获取(电影天堂)电影详情页链接,再获取电影名字以及下载地址,在控制台输出二:思路1、爬取(电影天堂)首页电影详情页所有链接,如图所示 链接:http://www.dytt8.net/2、查看抓取内容网页源码------看适合用那种方法抽取结果3、将第二步抽取的链接加入请求队列中-----进行二次请求4、获取电影的名字和下载地址-----如下图所示...原创 2018-09-29 09:33:44 · 2735 阅读 · 0 评论 -
WebMagic(三)-------保存到文件
前言:WebMagic定义了输出到控制台,和输出到文件的函数。但是输出的文件名、格式、拆分、路径都是固定的,现在自己参考源码重新实现这个功能,可按照自己想要的输出。根据该思路亦可将数据保存到数据库,而不仅仅是文件!原生的保存到文件:调用:上篇写的InfoByWebMagic类的main函数中调用上篇文章中InfoByWebMagic类的main函数改为如下调用:https:...原创 2018-10-10 09:39:31 · 2346 阅读 · 0 评论