scrapy框架循环多层页面爬取数据写入数据库或文档

何忧非喜{傲娇的程序媛}

于 2019-08-30 15:07:02 发布

阅读量1.8k

点赞数 1

分类专栏： python 文章标签： scrapy 循环嵌套

本文链接：https://blog.csdn.net/u013252962/article/details/100158830

版权

本文介绍如何使用Scrapy框架，针对http://m.jihaoba.com/tools/haoduan/网站，爬取不同城市的手机号段信息，并详细说明了数据结构、存储到数据库以及保存为JSON文档的实现过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求

公司app有个模块，需要做手机号段检索，便于导入指定市的电话
在这里插入图片描述
参考第三方网站：http://m.jihaoba.com/tools/haoduan/

利用scrapy框架，爬取城市和号段，存入数据库，数据结构：

create table `fcxlt_fans_data`(
                                  `id` bigint NOT NULL AUTO_INCREMENT,
                                  `city_id` int(11) NOT NULL,
                                  `segment_num_3` char(3) not null ,
                                  `segment_num_7` mediumtext not null ,
                                  primary key (`id`),
                                  key `city_id` (`city_id`) using btree
) engine =innodb auto_increment=1 default  charset=utf8mb4