自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 Scrapy入门--Scrapy是什么

一、Scrapy==蜘蛛Scrapy是我们熟知的蜘蛛爬虫框架,我们用蜘蛛来获取互联网上的各种信息,然后再对这些信息进行数据分析处理。所以说,Scrapy是学习大数据的入门技能。Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。蜘蛛作为网络爬虫,在网上到处或定向抓取网站网页的HTML数据。抓取网页的一般方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页面获取

2017-01-19 16:29:33 3513

原创 scrapy爬取图片

一、安装scrapy 请按照安装教程安装scrapy。二、编写爬虫 2.1 创建项目[root@ cgls]# scrapy startproject beautiful_album_spider2.2 创建spider[root@ cgls]# scrapy genspider xiaohuar_spider xiaohuar.com2.3 写spider文件[root@ cgls]# vi

2017-01-19 14:12:09 1121

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除