![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
BROTHERYY
学习是一件长久的事
展开
-
python爬虫学习(scrapy)
scrapy框架什么是框架就是一个集成了很多功能并且具有很强通用性的一个项目模板。如何学习框架专门学习框架封装的各种功能的详细用法。什么是scrapy爬虫中封装好的一个明星框架。功能介绍;高性能的持久化存储异步的数据下载高性能的数据解析操作分布式……scrapy框架的基本使用环境安装:mca or linux:pip install scrapywindows:pip install wheel下载twisted,地址:https原创 2020-10-25 22:53:00 · 142 阅读 · 0 评论 -
python爬虫学习(xpath)
xpath解析:最常用且最便捷高效的一种解析方式。- xpath解析原理1.实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中。2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。- 环境安装pip install lxml- 如何实例化一个etree对象:from lxml import etree1.将本地的html文档中的源码数据加载etree对象中:etree.parse(filePath)2.可以将从网站获取的源码数据加载原创 2020-10-26 08:59:45 · 200 阅读 · 0 评论 -
python爬虫学习(requests模块)
requests模块介绍:- python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。作用:模拟浏览器发请求。如何使用:(requests模块的编码流程)- 指定url- 发起请求- 获取响应数据- 持久化存储环境安装:- pip install requests练习:1.爬取搜狗首页的页面数据# 需求:爬取搜狗首页数据import requests# -指定urlurl = 'https://www.sogou.com/'# 发起请求respon原创 2020-10-21 21:43:45 · 371 阅读 · 0 评论