python多线程抓取网页内容并写入MYSQL

自己的第一个多线程练习，中间踩了不少坑，程序写的很渣，但是勉强能实现功能需求了 ，实际上抓取网页是多线程在MYSQL写入的时候是加了线程锁的 ，实际上感觉就不是在多线程写入了，不过作为第一个练习程序就这样吧 ，后续博客还会继续更新优化版本。## html这个字段没启用本来想把header信息全部保存写入进去的但是考虑到太大了，还是算了 ##

创建SQL的语句：

CREATE TABLE `scan` (
  `id` int(8) NOT NULL AUTO_INCREMENT,
  `url` varchar(68) DEFAULT NULL,
  `title` varchar(300) DEFAULT NULL,
  `htmlcontent` varchar(10) DEFAULT NULL,
  `webtype` varchar(100) DEFAULT