网络爬虫（二）

最新推荐文章于 2024-07-29 20:35:38 发布
最新推荐文章于 2024-07-29 20:35:38 发布
阅读量191 收藏
点赞数
分类专栏： Python技术【初学】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/103587185
版权

上节学习了：网络爬虫框架（一）

1、HTML解析之BeautifulSoup

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
实践操作步骤：
1、在cmd窗口下安装bs4

pip install bs4

在这里插入图片描述
参照，官网文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
在这里插入图片描述
在这里插入图片描述
具体代码实现：

from bs4 import BeautifulSoup  # 导入BeautifulSoup库
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
# 创建一个BeautifulSoup对象，获取页面正文
soup = BeautifulSoup(html_doc, features="lxml")
print(soup)                  # 打印解析的HTML代码

运行程序，控制台输出信息：
在这里插入图片描述
解决方法：
安装lxml的解析器，我们可以在cmd窗口安装

pip install lxml -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

在这里插入图片描述
运行程序，控制台输出信息：
在这里插入图片描述
若：打印标题

print(soup.title)                  # 打印解析的HTML代码

在这里插入图片描述

2、网络爬虫开发常用框架

在这里插入图片描述

框架

1、Scrapy

在这里插入图片描述

优点：快速而强大、易于扩展、便携式，python
网站：https://scrapy.org/
在这里插入图片描述

2、Crawley Project

网站：http://project.crawley-cloud.com/
在这里插入图片描述

3、pyspider

源码地址：https://github.com/binux/pyspider/releases
在这里插入图片描述
文档地址：http://docs.pyspider.org/

3、搭建Scrapy爬虫框架

在这里插入图片描述
在这里插入图片描述
安装Twisted模块，操作步骤：
1、打开（https://www.lfd.uci.edu/~gohlke/pythonlibs/）
在这里插入图片描述
在这里插入图片描述
接着，用cmd窗口运行Twisted4.whl文件路径
在这里插入图片描述
以管理员启动：
在这里插入图片描述


C:\Windows\system32>d:

D:\python\Twisted>cd D:\python\Twisted

D:\python\Twisted>pip install Twisted-19.10.0-cp38-cp38-win_amd64.whl

找到并安装二进制文件，命令：

pip install Twisted-19.10.0-cp38-cp38-win_amd64.whl

在这里插入图片描述
安装Scrapy框架

D:\python\Twisted> pip install Scrapy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

在这里插入图片描述
在这里插入图片描述
检查是否安装成功，执行命令：scrapy
在这里插入图片描述
接着，安装pywin32

D:\python\Twisted> pip install pywin32 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

在这里插入图片描述
安装完成

4、创建Scrapy项目并创建爬虫

快捷键：shift+鼠标右键
在这里插入图片描述
在这里插入图片描述
执行cmd命令：

scrapy startproject scrapyDemo

在这里插入图片描述
桌面多了一个scrapyDemo文件夹
在这里插入图片描述
接着，我们使用PyCharm工具打开，如图所示：
在这里插入图片描述
网页地址：http://quotes.toscrape.com/
在这里插入图片描述
操作步骤：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
具体代码实现：

import scrapy  # 导入框架
class QuotesSpider(scrapy.Spider):
    name = "quotes"  # 定义爬虫名称

    def start_requests(self):
        # 设置爬取目标的地址
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        # 获取所有地址，有几个地址发送几次请求
        for url in urls:
            # 发送网络请求
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 获取页数
        page = response.url.split("/")[-2]
        # 根据页数设置文件名称
        filename = 'quotes-%s.html' % page
        # 写入文件的模式打开文件，如果没有该文件将创建该文件
        with open(filename, 'wb') as f:
            # 像文件中写入获取的html代码
            f.write(response.body)
        # 输出保存文件的名称
        self.log('Saved file %s' % filename)

接着，就是运行，方式有两种：
第一种，使用命令行实现操作：
在这里插入图片描述

scrapy crawl quotes

在这里插入图片描述
出现两个html文件
在这里插入图片描述
当能生成这两个文件时，说明爬虫成功了！

第二种方式：
在第一种方式上添加如下代码：

 # 导入CrawlerProcess类
        from scrapy.crawler import CrawlerProcess
        # 导入获取项目设置信息
        from scrapy.utils.project import get_project_settings

        # 程序入口
        if __name__ == '__main__':
            # 创建CrawlerProcess类对象并传入项目设置信息参数
            process = CrawlerProcess(get_project_settings())
            # 设置需要启动的爬虫名称
            process.crawl('quotes')
            # 启动爬虫
            process.start()

具体代码实现如下：

import scrapy  # 导入框架
class QuotesSpider(scrapy.Spider):
    name = "quotes"  # 定义爬虫名称

    def start_requests(self):
        # 设置爬取目标的地址
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        # 获取所有地址，有几个地址发送几次请求
        for url in urls:
            # 发送网络请求
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # 获取页数
        page = response.url.split("/")[-2]
        # 根据页数设置文件名称
        filename = 'quotes-%s.html' % page
        # 写入文件的模式打开文件，如果没有该文件将创建该文件
        with open(filename, 'wb') as f:
            # 像文件中写入获取的html代码
            f.write(response.body)
        # 输出保存文件的名称
        self.log('Saved file %s' % filename)

        # 导入CrawlerProcess类
        from scrapy.crawler import CrawlerProcess
        # 导入获取项目设置信息
        from scrapy.utils.project import get_project_settings

        # 程序入口
        if __name__ == '__main__':
            # 创建CrawlerProcess类对象并传入项目设置信息参数
            process = CrawlerProcess(get_project_settings())
            # 设置需要启动的爬虫名称
            process.crawl('quotes')
            # 启动爬虫
            process.start()

在这里插入图片描述

5、获取数据

在这里插入图片描述

江湖侠客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
均值-标准差-方差,均值标准差方差公式,matlab
09-10
用来求取图像的均值（mean）、方差（Variance)、标准差（Standard Deviation）。
5. 统计学基础1：平均值...四分位数、方差、标准差（均方差）、标准误（标准误差、均方根误差）、 标准分
你说的白是什么白_
01-14 6961
统计学基础1：平均值...四分位数、方差、标准差（均方差）、标准误（标准误差、均方根误差）、 标准分
统计基础知识梳理--区分：方差，标准差，标准误，标准误差，均方误差和均方根误差
最新发布
swu_Halo的博客
07-29 538
方差、标准差、标准误、标准误差、均方误差和均方根误差的区别于联系
方差与协方差之间的区别？
weixin_40551464的博客
01-28 1131
如果两个变量的变化趋势一致（即一个变量增大时另一个也增大，或者一个减小时另一个也减小），那么它们的协方差为正值；如果变化趋势相反（即一个变量增大时另一个减小时，或者一个减小时另一个增大），那么协方差为负值；其中，Xi和 Yi分别是两个随机变量的观测值，μX和 μY分别是它们的均值，n 是观测值的数量。方差越大，表示数据点越分散；方差越小，表示数据点越集中。其中，xi是数据集中的每个数据点，μ 是数据集的均值，n 是数据点的数量。方差是协方差的特例，当两个随机变量相同时，它们的协方差就是方差。
偏差、方差、标准差、协方差
weixin_42508236的博客
05-06 4140
目录1 期望值（Expectation）2 偏差（Bias）3 方差（Variance）3.1 总体方差（Population Variance）3.2 样本方差（Sample Variance）4 标准差（Deviation）4.1 总体标准差（Population Standard Deviation）4.2 样本标准差（Sample Standard Deviation）5 协方差（Covariance）5.1 协方差（Covariance）5.2 协方差矩阵（Covariance Matrix）5.
数学基础--均值、方差、标准差、协方差
积木的笔记
02-23 2万+
主要介绍方差、标准差和协方差的基本概念
数学基础之方差、标准差和协方差三者之间的定义与计算
u013164612的专栏
06-14 6622
理解三者之间的区别与联系，要从定义入手，一步步来计算，同时也要互相比较理解，这样才够深刻。方差方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。在许多实际问题中，研究随机变量和均值之间的偏离程度有着很重要的意义。标准差方差开根号。协方差在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差...
【误差】方差、标准差、均方误差和均方根误差的区别总结
vict_wang的博客
05-28 3万+
文章目录来源方差方差与标准差均方差、均方误差、均方根误差均方根值 来源 https://blog.csdn.net/zengxiantao1994/article/details/77855644 方差 方差(variance)： 概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。 统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。 在许多实际问题中，研究方差...
均值、方差、标准差及协方差、协方差矩阵详解
努力努力努力
03-02 1万+
一、均值 均值是表示一组数据集中趋势的量数，是指在一组数据中所有数据之和再除以这组数据的个数。它是映数据集中趋势的一项指标。均值和标准差是描述数据集中趋势和离散程度的两个最重要的测度值。 二、方差，标准差 方差（variance)是 衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值
均方根误差，均方误差，均方根，均方差，方差的区别
qq_29977545的博客
12-04 3万+
     首先应该了解，“均”代表的意思是“平均Mean”，“方”代表的意思是“平方Square”，“根”代表的意思是“开放Root”，“误差”代表的意思是“测量值和真值的差Error”，“差”代表的意思是“样本值和样本均值的差”。故而下面的几个 均方根误差（RMSE）：顾名思义，均方根误差是对样本点的测量值和真值先做差，再求平方，然后做平均运算，最后做开方。其表征的含义是，测量值与真值曲线的拟...
标准差、均方误差、均方根误差、平均绝对误差
pocher的博客
11-20 8408
开发十年，就只剩下这套架构体系了！ >>> ...
[统计学理论基础] 方差 & 协方差 & 标准差
memory专栏
05-27 7224
统计里最基本的概念就是样本的均值、方差和标准差。 通过一个含有n个样本的集合，依次给出这些概念的公式描述。 均值描述的是样本集合的中间点，它告诉我们的信息是很有限的， 标准差描述的则是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8...
方差、标准差、均方误差、均方差
yanxia_chen20170413的博客
04-28 4712
方差、标准差、均方误差、均方差的区别： 均方误差（Mean Squared Error, MSE）是衡量“平均误差”的一种较方便的方法，可以评价数据的变化程度。对于等精度测量来说，还有一种更好的表示误差的方法，就是标准误差。 标准误差定义为各测量值误差的平方和的平均值的平方根。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。MSE可以评价数据的变化程度，MSE的值越小，
数学期望、方差、标准差、协方差、残差、均方差、均方误差、均方根误差、均方根值对比分析及python实现
大柳的博客
02-18 5614
内容较多，如有错误之处请评论区留言以便更正，内容仅供参考。 文章目录期望（Expected value）意义定义离散型连续型期望与平均值的区别方差（Variance)案例概率论方差统计学方差样本方差python实现代码标准差（Standard Deviation)方差和标准差的区别python实现代码协方差（Covariance）定义相关系数协方差矩阵案例实现残差均方误差（mean-square error, MSE）python实现代码均方根误差（root mean squared error，RMS.
【机器学习】回归误差：MSE、RMSE、MAE、R2、Adjusted R2 +方差、协方差、标准差(标准偏差/均方差）、均方误差、均方根误差(标准误差)、均方根解释
Allen . Liu
11-26 2万+
我们通常采用MSE、RMSE、MAE、R2来评价回归预测算法。 1、均方误差：MSE（Mean Squared Error） 其中，为测试集上真实值-预测值。 def rms(y_test, y): return sp.mean((y_test - y) ** 2) 2、均方根误差：RMSE（Root Mean Squard Error） 可以看出，RMSE=sqrt（MS...
算法效果评估：均方根误差（RMSE）/ 标准误差
热门推荐
Laurence的技术博客
11-07 4万+
评估算法的效果 常见的算法效果评估函数是均方根误差（Root Mean Square Error），在了解这个均方根误差前，需要先熟悉一下其他几个基本方差： 方差（Variance） 方差用于衡量随机变量或一组数据的离散程度。对于方差我们可以用一种朴素的方式理解和记忆：它不是平方的差，而是差的平方求和之后再取平均值，对于计算方差取差的平方这一点，可以很形象地理解为以两点间的直线距离为边得到一个正方型，以面积（平方）的形式度量离散程度，显然面积越大，意味着离散程度越高。 总体方差 总体方差，也叫做有偏估计，其
Python编程：方差、标准差、均方差、均方根值、均方误差、均方根误差
星月夜话
04-08 3727
python实现代码 # -*- coding: utf-8 -*- import math def get_average(records): """ 平均值 """ return sum(records) / len(records) def get_variance(records): """ 方差 反映一个数据集的离散程度 ...
mse均方误差计算公式_视觉SLAM十四讲实践之真实轨迹和估计轨迹均方根误差
weixin_39640646的博客
11-21 2671
为了理解RMSE首先介绍一些统计学的概念，然后介绍SLAM领域里面的计算精度ATE和RPE的用法。中位数一组数据按大小顺序排列，位于最中间的一个数据 (当有偶数个数据时，为最中间两个数据的平均数) 叫做这组数据的中位数。用中位数作为一组数据的代表，可靠性不高，但受极端数据影响的可能性小一些，有利于表达这组数据的 “集中趋势”。众数几组数据中出现次数最多的那个数据，叫做这批数据的众数。用众...
方差、标准差、协方差、相关系数概念描述
lglrkx的博客
02-25 2923
协方差与相关系数密切相关，相关系数是协方差的标准化版本，范围在 -1 到 1 之间，可以更好地表示两个变量之间的线性关系的强度和方向。与方差不同，标准差的值具有与原始数据相同的单位，这使得标准差更容易与数据的实际范围进行比较和解释。它的值介于 -1 和 1 之间，可以帮助我们了解两个变量之间的关联程度以及关联的方向。在计算相关系数时，与协方差不同，相关系数是无量纲的，因此不受变量单位的影响。在统计学和数据分析中，标准差是一个常见的工具，用于描述数据的变异程度，以便更好地理解和分析数据的特征。
如何从标准差到均方根误差呢
05-17
要从标准差（standard deviation）到均方根误差（root mean square error），需要进行以下转换： 1. 计算标准差的平方，得到方差（variance）。 方差 = 标准差^2 2. 计算均方根误差，即将方差除以样本数量后再进行开方。 均方根误差 = sqrt(方差 / 样本数量) 其中，sqrt表示开方运算。 因此，从标准差到均方根误差的计算过程是先将标准差平方得到方差，然后将方差除以样本数量后再进行开方。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值