【Python】Python写的简单爬虫，抓取视频信息

闲来无事，动手写个爬虫程序吧，虽然不是第一次写爬虫程序了，可是这么正经的写一个爬虫程序还真的是“第一次”呢！知道写的还有很多不足，希望多提意见，我好虚心接受，并修正我的爬虫程序，谢谢！
这个是我的爬虫源码存放处

dytt：爬虫相关操作
httpreq：网页相关操作
mysqldat： mysql数据库相关操作
rules：是爬虫提取网页信息的Xpath规则
ualib：由于自动生成UA的那个模块用不成了，我就自己写了一个随机UA的文件（可能是我网络状态不太好，反正我一直获取不到那个随机UA的json文件）
main.py: 程序的入口
moviespider.sql: 这个是我建库的SQL文件

这次用到的技术有：

Xpath，

正则表达式（用的并不多，我记得只有一个地方用到了），

Python对MySQL数据库的操作，

暂时就想到这么多，对于我来说这次爬虫的编写，我对Xpath和Python对MySQL数据库的操作更加深刻了，我在这个爬虫程序中加入了日志功能。

闲叙：

日志模块是我自己写的功能，这个程序中为什么要强调这个呢？因为我不太喜欢调用太多模块命令，虽然这样写程序变简单了，但是这样学不到东西，我还是很喜欢自己琢磨一些东西的！

最近我还在研究改进这个程序：怎样增量抓取视频信息？？欢迎讨论或者赐教（那就最好了）多谢观看！