最近搞了个新站(id86.com),技术型论坛,想了想数据来源是个问题,于是乎花了两三天的下班时间搞了几个爬虫,针对wenwen.soso.com的
ruby, js, css ,php, ubuntu, centos, mysql, oracle,相关的帖子都是通过这个爬虫从soso那边抓过来的。
感觉用ruby写爬虫相当给力啊,是迄今为止遇到过写采集最方便的,当然是对比脚本语言这一系列来说的
这里面包含一些小的细节:
(1) 通过ruby以用户管理员身份登录网站,创建新用户
discuz X的数据系统确实不敢深究,虽然知道他的一部分机理,比如ucenter_members, common_member这一堆表的用法,但最终还是采用的是通过post请求的方式来添加需要的用户, 没敢去尝试用ruby脚本改数据库。虽然之前迁移过80万用户、700万帖子的论坛。
(2) 通过ruby脚本改数据库,发表主题,发贴
(3) 通过ruby脚本结合imagemaigck给用户搞头像。
地址是: www.id86.com。现在除了抓过来的数据,其他啥也没有。相当于一个垃圾桶吧。哈哈。
ruby, js, css ,php, ubuntu, centos, mysql, oracle,相关的帖子都是通过这个爬虫从soso那边抓过来的。
感觉用ruby写爬虫相当给力啊,是迄今为止遇到过写采集最方便的,当然是对比脚本语言这一系列来说的
这里面包含一些小的细节:
(1) 通过ruby以用户管理员身份登录网站,创建新用户
discuz X的数据系统确实不敢深究,虽然知道他的一部分机理,比如ucenter_members, common_member这一堆表的用法,但最终还是采用的是通过post请求的方式来添加需要的用户, 没敢去尝试用ruby脚本改数据库。虽然之前迁移过80万用户、700万帖子的论坛。
(2) 通过ruby脚本改数据库,发表主题,发贴
(3) 通过ruby脚本结合imagemaigck给用户搞头像。
地址是: www.id86.com。现在除了抓过来的数据,其他啥也没有。相当于一个垃圾桶吧。哈哈。