2017年01月_cuigelasi

12月 11月 09月 08月 07月 06月 04月 03月 02月 01月

原创 Scrapy入门--Scrapy是什么

一、Scrapy==蜘蛛Scrapy是我们熟知的蜘蛛爬虫框架，我们用蜘蛛来获取互联网上的各种信息，然后再对这些信息进行数据分析处理。所以说，Scrapy是学习大数据的入门技能。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。蜘蛛作为网络爬虫，在网上到处或定向抓取网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取

2017-01-19 16:29:33 3514

原创 scrapy爬取图片

一、安装scrapy 请按照安装教程安装scrapy。二、编写爬虫 2.1 创建项目[root@ cgls]# scrapy startproject beautiful_album_spider2.2 创建spider[root@ cgls]# scrapy genspider xiaohuar_spider xiaohuar.com2.3 写spider文件[root@ cgls]# vi

2017-01-19 14:12:09 1121

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人