博客专栏  >  编程语言   >  Scrapy爬虫教程

Scrapy爬虫教程

网络爬虫(Web Crawler, Spider)就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人,因为网络本身也是虚拟的东西,所以这个“机器人”其实也就是一段程序,并且它也不是乱爬,而是有一定目的的,并且在爬行的时候会搜集一些信息。

关注
7 已关注
6篇博文
  • Python的爬虫框架 Scrapy

    网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻...

    2015-11-15 15:31
    1752
  • 利用scrapy抓取网易新闻并将其存储在mongoDB

    好久没有写爬虫了,写一个scrapy的小爬爬来抓取网易新闻,代码原型是github上的一个爬虫,最近也看了一点mongoDB,顺便小用一下,体验一下NoSQL是什么感觉。言归正传啊,scrapy爬虫主...

    2015-06-10 10:54
    3318
  • python爬取京东所有iphone的价格和名称

    原本想升一下级,用一下creep神马的,但是正则今天突然出了点小问题,我就生气了,就用正则抓取了一下。 这个正则可以用re.search 或者 re.findall都可以,我比较喜欢用search因为...

    2015-04-30 00:27
    2795
  • python爬虫抓取全国pm2.5的空气质量(2015.12.21版)

    这个编码格式真的是很闹心啊,看来真的得深入学习一下编码格式,要不这各种格式错误。 这个编码还和编辑器有关系,最开始的时候实在sublime Text里编辑的代码,运行起来卡卡的,特别顺畅,但突然发现它...

    2015-05-09 14:41
    4033
  • 爬虫Scrapy学习指南之抓取新浪天气

    scrapy有一个简单的入门文档,大家可以参考一下,我感觉官方文档是最靠谱的,也是最真实的。 首先我们先创建一个scrapy的项目 scrapy startproject weather ...

    2015-05-11 11:47
    2350
  • 爬虫scrapy抓取w3school课程列表

    首先还是先创建scrapy项目,当然这都是在你安装scrapy之后啊,这个scrapy还是在linux系统下最省事,一行指令瞬间安装,这酸爽。。。。。 言归正传啊,创建scrapy文件。 sc...

    2015-05-12 19:14
    2151
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部