只剩渣了的博客

闲来无事，动手写个爬虫程序吧，虽然不是第一次写爬虫程序了，可是这么正经的写一个爬虫程序还真的是“第一次”呢！知道写的还有很多不足，希望多提意见，我好虚心接受，并修正我的爬虫程序，谢谢！ 这个是我的爬虫源码存放处 dytt：爬虫相关操作 httpreq：网页相关操作 mysqldat： mysql数据库相关操作 rules：是爬虫提取网页信息的Xpath规则 ualib：由于自动生成UA的那个模块...

在我写爬虫最早的时候，我是比较喜欢用正则的，尤其是正则有一个比较牛X的表达式，用过正则 的朋友应该都会知道，就是——万能正则表达式“（.*？）” （开个小玩笑——→如果你不知道证明你还不了解正则） 我有做过爬虫相关的工作，是每天都是重复着同样的工作——写爬虫的抓取规则，这时候我是使用的 是Xpath，而不是正则，事实是我在正常工作中（写爬虫的时候）也很少用到正则，并不是因为他不 好，而...