上次说到做关于选课网的软件。现在说干就干了~
大概思路说是:
通过某特定页面获取返回信息,然后再从HTML文本里截取东西。
看似很简单的东西,做起来可不容易。
首先CURL搞得不错(多亏当年用了几天搞出来的新PHP),得到页面很随意。
之后是去HTML标记和各种空格,函数如下:
string strip_tags(string $htmlpage); //去HTML标记,还可以加参数,要求保留某些标记
string preg_replace("//s/","",$str); //去除str中一切空白字符,什么tab,什么空格,什么换行。。这样的好处就是把所有文字都边成一片了。。。。
之后是内容的摘取。
原来也想用正则表达式来着,perl兼容的正则表达式似乎很高效也很NB,而ereg比较弱,也稍微简单点。
但是蛋疼的是,PHP中如果要正则中文,就要用16进制编码来找它们。。。于是用了一晚上探究其中原因
事实上PHP什么的虽然都可以显示中文页面,但它的字符处理都是按单字节字符处理的…然而GB2312或者GBK中,汉字都是双字节表示,于是你要想处理汉字,必须将汉字想象成2个BT的单字符组成的东西…而在UTF-8中,因为支持的字符更多,它用三个字节表示字符…于是换算变得更加复杂。。。。
正当我想放弃的时候,mb_打头的函数给我了线希望──它帮我搞定了所有宽字符的问题,只要记得UTF8中的中文是3个字节就OK了。但是perg不支持这种东西,只有mb_ereg系列。。。。在我试验N次蛋疼无数之后,决定不用正则了。。自己写字符串操作吧!
大概用到了以下几个函数:
需要注意的是,所有数字的表示,都认为汉字是3个字符(UTF8下),所以如果要截3个汉字,应该让$lenth=9才可以。
然后用FOR循环读取N多网页,感觉速度还是很快的,30秒能显示1000多条。。。设计得当的话,估计还是可以用起来的。
值得一提的是,PHP里的数组太给力了!它的标号可以是有意义的名字,类似c中的结构体一样了。。。
比如:
下一步计划:从csv文件中读取一学期的所有课程到数据库,里面有宝贵的上课时间,之后通过课程ID来与网上的数据联系。
至少要建立2个表了。。。从现在的情况来看。。。。
但是最郁闷的是在发送网页请求的时候,需要使用bsid=xxxxxxxx,是一个6位的数字,这个实在是没规律,只能穷举了…
除非。。。找到网络中心。。。。。算了。。。
希望日后能顺利一些!