webmagic 获取文本_学习使用Java的webmagic框架爬取网页内容

(一)使用前的配置：

2，(1)添加依赖：

us.codecraft

webmagic-core

0.7.3

us.codecraft

webmagic-extension

0.7.3

us.codecraft

webmagic-selenium

0.7.3

(2)从GitHub官网下载webmagic的压缩包(https://codeload.github.com/code4craft/webmagic/zip/master)，将webmagic-core使用Module from Existing Source..导入项目中

(3)在resources中添加资源文件log4j.properties中添加

# Set root logger level to DEBUG and its only appender to A1.

log4j.rootLogger=INFO, A1

# A1is setto be a ConsoleAppender.

log4j.appender.A1=org.apache.log4j.ConsoleAppender

# A1 uses PatternLayout.

log4j.appender.A1.layout=org.apache.log4j.PatternLayout

log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n

(二)写程序爬虫：

抽取元素：

1，page使用css选择器

2，page使用XPath

3，使用正则表达式

regex(“正则表达式”)

获取元素：

设置爬虫属性：site

Scheduler组件：

1，对抓取的url保存到队列

2，对抓取的url去重