【荐】webmagic爬虫所需博文

推荐些好的博文

String的字符串截取

https://blog.csdn.net/ss7379829/article/details/78980776

拼地址时，特殊字符转义

http://jiangzhengjun.iteye.com/blog/513929

爬虫主要分为两种（这几篇博文很有深度，可以收藏）     

一般列表页--详情页 

ajax访问获取的列表页--详情页

https://blog.csdn.net/ha_hha/article/details/80324343     

https://blog.csdn.net/xifeijian/article/details/10813339

https://blog.csdn.net/xiaozhuxmen/article/details/52014901

https://blog.csdn.net/ha_hha/article/details/80324707

 

注意点：

如果只是简单的用的话无所谓，如果要用到项目中

尽可能把 要用到的地址放到--- 配置文件调用

尽可能把代码的灵活性提高，考虑的时候多想一些，把可能的情况if-else 分开匹配