公交线路抓取程序是以前在公司没事做时,自己买了部mb525(android手机,现手机不是我的了)时,想试下自己开发软件,又想到广州公交太多,在外面时手机查公交线路只能通过上网查,自己又不想浪费手机流量,就打算开发一个公交线路查询软件,在开发这软件就得先抓取公交线路数据。所以写了这程序,但原公司的程序没带走,现在重新写过,由于有段时间没写程序了,自己水平一般,程序质量不高,还请大家多提意见
程序的结构大概是:Main程序运行,定义了四个接口:
IdbUtil:负责数据的写入,我提供两种写入,Mysql数据库和txt文件,实现类分别是:DbUtilQueryRunner和DbUtilFileWriter
IHtmlCleanerUtil:网页内容信息解析接口,实现类:HtmlCleanerUtil
IHttpClientUtil:网页下载接口,实现类:HttpClientUtil
IUrlGenerator:url制造器,实现类:UrlGenerator
程序的动作流程:generate url,download page,parse page,get info,save info
产生url,下载网页,解析网页并获取信息,保存信息
applicationContext.xml里通过:
<property name="startLineNum" value="1" />
<property name="endLineNum" value="100" />
<property name="area" value="guangzhou" />
可以配置开始和终止线路号码和地区,目前只测试了"guangzhou"和"huizhou"。
在res目录里有bus.sql是mysql数据库文件,和guangzhouBus.txt和huizhouBus.txt文件,分别是通过程序抓取的广州和惠州的公交线路txt文件
由于单位里的电脑没装ant和ivy,就不生成Jar了