爬虫
欢喜yu
这个作者很懒,什么都没留下…
展开
-
爬虫第一弹:安居客房地产数据爬虫
爬虫第一弹:安居客房地产数据爬虫 一、功能分析:1、我们要爬取的安居客南昌新房的420个楼盘的信息,每个楼盘涵盖'楼盘名称' '楼盘特点' '参考单价' '物业类型' '开发商' '区域位置' '楼盘地址' '售楼处电话' '最低首付' '楼盘户型' '最新开盘' '交房时间' '售楼处地址' '预售许可证' '建筑类型' '产权年限' '容积率' '绿化率' '规划户数' '楼层状况' '工程进...原创 2018-06-14 10:12:51 · 9382 阅读 · 4 评论 -
爬虫第二弹:千图网电商淘宝模板图片下载
爬虫第二弹:千图网电商淘宝模板图片下载 一、功能分析:1、下载千图网电商淘宝的所有模板图片要求是高清版本;2、并按照主页面将图片归类文件夹。 二、思路分析:1、利用scrapy构建scrapy startproject qtpjt,搭建项目,并通过scrapy genspider -t basic qtspd 58pic.com构建基本的爬虫文件;2、通过item.py构建所有数据项;3、sett...原创 2018-06-14 10:14:50 · 1407 阅读 · 0 评论 -
爬虫第三弹:图灵社区书籍信息爬取
爬虫第三弹:图灵社区书籍信息爬取一、目的:将图灵社区所有书籍的网址、书籍名称,作者,译者,阅读数,标签,出版日期,定价,页数,印刷方式,出版状态全部爬取下来存入mysql数据库,并导出xml格式,最后转化为csv格式。并对数据通过R语言分析,通过对标签和阅读数,出版日期的联合分析,分析现在计算机不同知识板块的热度信息。二、爬虫的功能分析1、通过对"http://www.ituring.com.cn...原创 2018-06-14 10:16:49 · 750 阅读 · 0 评论