python:网络数据收集

平台架构 专栏收录该内容
12 篇文章 0 订阅

生活中任何人都无法摆脱数据的时代要想获得更多的数据最有效的方法就是从网络收集Python在收集数据方面无疑是一门很好的语言。网络上python爬虫框架有众多,大家有兴趣可以去学习一下,在这就简单介绍下如何使用python写爬虫。


一、 环境准备

(1) python运行环境

(2) html解析器(Beautiful Soup)


二、 数据采集

(1) 获取网页代码

 


urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取wwwftp数据

Urllib.urlopen() 用于打开url地址

read()方法用于url上的数据


(2) 筛选页面数据

筛选数据的方法有很多种正则、Beautiful Soup等。

在这我们使用beautiful soup对页面数据筛选


ü 安装解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml 根据操作系统不同,可以选择下列方法来安装lxml:

$ apt-get install Python-lxml

$ easy_install lxml

$ pip install lxml


另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

$ apt-get install Python-html5lib

$ easy_install html5lib

$ pip install html5lib


ü 解析器优缺点



ü 筛选数据

 

如上使用beautiful soup解析网页获取网页的标题,更多beautiful soup说明请看官方文档:https://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html


想知道如何反爬跳过登录抓取数据请持续关注文章~~



  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页

打赏

itest_2016

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值