小米论坛爬虫

xiaomi_forum_spider

小米论坛爬虫

软件前提

1. 需要安装python环境
2. pip install scrapy(python版本爬虫)
3. pip install MySQL-python(python版本mysql驱动)
4. mysql数据库

数据库表结构设计

小米论坛板块表forum

CREATE TABLE `forum` (
  `forum_plates_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '小米论坛板块主键',
  `forum_plates_name` varchar(40) NOT NULL COMMENT '小米论坛板块名称',
  `forum_plates_number` int(11) NOT NULL COMMENT '小米论坛板块编号',
  `forum_plates_url` varchar(256) DEFAULT NULL COMMENT '小米论坛板块访问url',
  `forum_plates_desc` varchar(256) DEFAULT NULL COMMENT '小米论坛板块说明',
  `forum_plates_followed_person_numbers` int(11) NOT NULL COMMENT '板块关注人数',
  PRIMARY KEY (`forum_plates_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='小米论坛板块'