2017.11.11

python爬虫

爬虫简介:

爬虫:一段自动抓取互联网信息的程序。从一个URL从发,访问它所有关联URL,并且从每个页面上,提取出我们所需要的有价值的数据。

            简单的说:爬虫就是自动访问互联网并且提取信息的程序。


价值:爬取数据,互联网数据,更好地为我所用。

简单的爬虫架构:

                                                                                               URL管理器(对已经爬取过的URL和未爬取的URL进行管理)
                                                                                                                                      |
爬虫调度端(启动爬虫,监视爬虫的调度情况)——>取出一个待爬取的URL,将其传送给网页下载器,网页下载器将其下载并转换成字符串
                                                                     
                                                                                              字符串传送给网页解析器

                                                                                              解析出有价值的数据
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值