爬虫之事

1.下载到了网页内容，发现了linux下同名文件夹可以覆盖同名文件的问题 。

2.解析了网页，可以得到网页的各种信息。但是有些网页的编码虽然是写utf-8但是终究不是。很是懊恼

3.因为海底电缆断了。下载还是个问题。中文的解析还没有开始。

4.增加downlist 和 imagelist方便图片和包的下载。

5.增加cvsOsvnlist方便代码的下载

6.准备和cvs,svn整合。下载代码资源。

7.迅雷下载时会被网站封锁，没有办法万般无奈下，只好使用的自己的下载函数。

8.准备做多线程下载

9.希望将config map文件格式化为XML。

 

－－－－－－－－－－－－－－

1.迅雷还是不能下载，即使是单线程。有的包下到一半就再也不动了。

2.现在将3M一下的使用自己的程序下载，3M以上的包移出，等待日后下载。