crawler爬虫java实例,Crawler4j快速入门实例

下面我们来写一个Demo，让大家快速入门crawler4j；代码中加了详细的备注，大家可以好好看看。

crawler4j中用了slf4j来记录项目运行日志信息。我们使用slf4j具体实现类log4j；

首先我们在pom.xml中加入log4j以及log4j驱动类支持；

log4j

log4j

1.2.17

org.slf4j

slf4j-log4j12

1.7.21

log4j.properties配置如下：log4j.rootLogger = debug,D,E

### debug ###

log4j.appender.D = org.apache.log4j.DailyRollingFileAppender

log4j.appender.D.File = c://logs/log.log

log4j.appender.D.Append = true

log4j.appender.D.Threshold = DEBUG

log4j.appender.D.layout = org.apache.log4j.PatternLayout

log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss}  [ %t:%r ] - [ %p ]  %m%n

### error ###

log4j.appender.E = org.apache.log4j.DailyRollingFileAppender

log4j.appender.E.File =c://logs/error.log

log4j.appender.E.Appe