Kobe123brant的博客

原文连接：https://mp.weixin.qq.com/s/aRhVXZz9Dl-FcFylFIeTlA这个一个很Nice的公众号，推荐给大家：Datawhale用到的知识：爬虫+数据分析自己在在学了一段时间的爬虫和python数据分析之后，尝试了网上很多一些开源的项目，今天发现一个很有意思的项目，分享一下。前言玩过王者荣耀的都知道，游戏为了平衡，游戏地形和英雄强度等都会定期的更新，因此游戏的数据本身是变化的王者荣耀大家估计都玩过了，在这里就不介绍游戏规则了，在这个项目中我尽可能的用简单的

实战1实战2小说章节目录链接：https://www.37zw.net/0/761/网页解析url = 'http://www.xbiquge.la/0/8/5599.html'response = requests.get(url, headers = {'user-agent':'Mozilla/5.0'})response.encoding = response.apparent_encodinghtml = response.textsoup = BeautifulS..

这里利用周末的时间复习了一下关于爬虫的一些基本知识，分别是requests, BeautifulSoup库的基本知识：如果还有不会的可以去看看这些内容：参考requests库requests实例Beautiful Soup解析库大学排行榜爬取ok，废话不多说，张家界一直是我像要去的一个风景优美的地方，但是一直没有时间去，无奈，只能在网上爬取美图来过过瘾了首先打开视觉中国官网：搜索张家界安装惯例，我们要找到每一张图片对应的地址，那这么多要怎么找呢？我们可以按F12进入开发者模式，用鼠标.

使用python123的页面作为例子分析：import requestsfrom bs4 import BeautifulSoupurl = 'https://python123.io/ws/demo.html'r = requests.get(url)soup = BeautifulSoup(r.text, 'html.parser')print(soup.prettify)下面是这个网页标签的输出结果下面的soup是前面代码使用BeautifulSoup库解析之后的结果soup.t

（1）Scrapy库Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。官方库解析Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域：Scrapy

这里实现一个对中国大学排行的爬虫实例解析注意：在爬取之前需要查看robot的协议，查看是否允许爬取

（1）信息标记的形式标记后的信息可形成信息组织结构，增加了信息的维度标记后的信息可用于通信、存储或展示以HTML为例子展示何为信息标记HTML的信息标记形式目前市面上有三种信息标记的形式：第一种：XML可扩展标记语言，标准通用标记语言的子集，简称XML。是一种用于标记电子文件使其具有结构性的标记语言。在电子计算机中，标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种的信息比如文章等。它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。

Beautiful Soup简单来说，Beautiful Soup 是 python 的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup 提供一些简单的、python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 utf-8 编码。你不需要考虑编码方式，除非文档没有指定.

（1）淘宝页面源代码爬取这是一个需要爬取的淘宝页面，使用下面代码import requestsr = requests.get('https://detail.tmall.com/item.htm?id=627546383438&ali_refid=a3_430406_1007:1368730053:J:327892881_0_1410706680:8b2f96b85a2366008025f24dd73d84a1&ali_trackid=85_8b2f96b85a236600802.

合理使用技术（盗亦有道）爬虫虽然可以让我们很方便的获得大量的资源，但是同时也会引发很多的问题，我们根据爬虫的尺寸分为三大类：每当我们发起了一个爬虫，它就会像一个骚扰电话一样访问服务器，因此大型的爬虫会对服务器造成很大的压力为了规范这些手段，网页上就有了一些关于爬虫的限制：Robots协议...

1.Requests库的requests详细介绍这里面包含了基本的安装下载知识以及使用的描述Requests库的7个主要方法关于requests.get()方法的参数设置：我们一般是封装成自己的函数调用（1）response对象Response的对象一般是包含服务器返回的所有信息，也包含请求的Request信息Response对象的属性（1）分别使用上述的对象属性输出结果如上图所示关于response的编码：简单说，网络上的资源它都有它的编码，如果没有编码，我们将没有办法