JAVA架构理财产品搜索平台-采集网上所有理财产品

很久没上来写文章了,工作较忙,年后工作忙但是心灵很空虚,就做了一个理财产品搜索网站,完全一个人开发!

首先是程序架构,现在网上开源真的很多,再综合了几个BLOG、SNS的源码后,很多工具包和核心代码都从他们那里复制了过来,忙了几天,架构就这样起来了。

文章和社区、微博的这些东西自然简单,网站主要核心还是各个P2P平台和银行产品的采集。

首先要写能通用各个平台网页结构,因为是自己采集,所以就干脆每个产品的属性都对应一个正则,用这个方法就可以对应大部分网页结构。

当然很多网页还是千奇百怪的,比如有些银行产品是JS输出的,还有些产品详细是需要登录的,这时候就要用HTMLUNIT了,我也集成了这个包,实践证明,好用哦,招商银行产品就是JS输出的,你可以看网站上的产品。

前后花了一个多月时间,基本上该有的功能都有了,就挂上去了,注意是我一个人做的,所以质量不太好呀,挂香港主机,速度也不好,工作又忙!不过欢迎大家交流网站架构方面、搜索方面的知识,我也是个新手,对爬虫很感兴趣,但是一直没有研究,谁来教教我。

网站是理财产品搜索平台 http://www.caizao.com  财早网

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值