很久没上来写文章了,工作较忙,年后工作忙但是心灵很空虚,就做了一个理财产品搜索网站,完全一个人开发!
首先是程序架构,现在网上开源真的很多,再综合了几个BLOG、SNS的源码后,很多工具包和核心代码都从他们那里复制了过来,忙了几天,架构就这样起来了。
文章和社区、微博的这些东西自然简单,网站主要核心还是各个P2P平台和银行产品的采集。
首先要写能通用各个平台网页结构,因为是自己采集,所以就干脆每个产品的属性都对应一个正则,用这个方法就可以对应大部分网页结构。
当然很多网页还是千奇百怪的,比如有些银行产品是JS输出的,还有些产品详细是需要登录的,这时候就要用HTMLUNIT了,我也集成了这个包,实践证明,好用哦,招商银行产品就是JS输出的,你可以看网站上的产品。
前后花了一个多月时间,基本上该有的功能都有了,就挂上去了,注意是我一个人做的,所以质量不太好呀,挂香港主机,速度也不好,工作又忙!不过欢迎大家交流网站架构方面、搜索方面的知识,我也是个新手,对爬虫很感兴趣,但是一直没有研究,谁来教教我。
网站是理财产品搜索平台 http://www.caizao.com 财早网