【学习笔记】北京理工大学-Python网络爬虫与信息提取

最新推荐文章于 2021-05-24 14:58:05 发布
最新推荐文章于 2021-05-24 14:58:05 发布
阅读量404 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36226586/article/details/114520844
版权

Python网络爬虫与信息提取

在这里插入图片描述
掌握定向网络数据爬取和网页解析基本能力

一.Requests库

在这里插入图片描述

Requests库的7个主要方法

在这里插入图片描述

Response对象的属性

在这里插入图片描述
在这里插入图片描述

☆爬取网页的通用代码框架

在这里插入图片描述

HTTP协议

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
cookies 英[ˈkʊkiz]
n. 曲奇饼; 精明强干的人; 坚强的人; 网络饼干(网络或互联网使用者发给中央服务器信息的计算机文件);

proxy , proxies：英[ˈprɒksiz]
n. 代理权; 代表权; 代理人; 受托人; 代表; (测算用的)代替物，指标;

在这里插入图片描述
最常用的是get方法，对于内容大的用head方法

网络爬虫的尺寸

在这里插入图片描述

如何限制网络爬虫？


在这里插入图片描述

实例代码

二.Beautiful Soup库

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
等价↑
BeautifulSoup对应一个 HTML/XML文档 的全部内容

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

prettify

在这里插入图片描述

信息提取

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三.Re库（正则表达式）

在这里插入图片描述
正则表达式：表示一组字符串的特征

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
主要应用在字符串匹配中

正则表达式常用操作符

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Re库

在这里插入图片描述

在这里插入图片描述

substitute 英[ˈsʌbstɪtjuːt] 美[ˈsʌbstɪtuːt]
n. 代替者; 代替物; 代用品; 替补(运动员);
v. (以…)代替; 取代;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四.Scrapy爬虫框架

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

requests vs Scrapy

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Scrapy爬虫常用命令

在这里插入图片描述
在这里插入图片描述

Kele-17369
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【MOOC】Python网络爬虫与信息提取-北京理工大学-part 4
linzch3的博客
03-08 5525
网络爬虫之框架1.scrapy爬虫框架介绍1.1.scrapy爬虫框架介绍安装方法： 简要地说，Scrapy不是一个函数功能库，而是一个快速功能强大的网络爬虫框架。 （爬虫框架是实现爬虫功能的一个软件结构和功能组件集合，是一个半成品，能够帮助用户实现专业网络爬虫。） scrapy爬虫框架的组成如下： 用户提交的网络请求以及从网络上获取的信息形成数据流，在这些模块间流动。 数据流的路径有：
最新北京理工大学Python网络爬虫实战训练
梦独吟
06-01 835
2020年5月17日中国大学排名top100的定向爬虫(成功) https://www.datealive.top/2020/05/pypc2.html 2020年5月21日最新爬取淘宝商品比价信息(成功) https://www.datealive.top/2020/05/pythonxz.html 2020年5月22日股票数据定向爬虫(成功) https://www.datealive.top/2020/05/python-sz3-gp.html 2020年5月24日股票数据定向scrapy爬虫(成功)
北京理工大学慕课-Python网络爬虫与信息提取
hbkybkzw的博客
05-24 1594
Python网络爬虫与信息提取 (MOOC 北京理工大学) (笔记) (开始时间：2021/03) (by 孟智超) 第一章、网络爬虫之规则 案例1：requests_时间测试 # -*- coding: utf-8 -*- """ ************************************************** @author: Ying @software: PyCharm
《python网络爬虫与信息提取》学习笔记（三）
weixin_44866139的博客
02-14 270
信息标记的三种形式及区别 1、XML 2、JSON 3、YAML 信息提取的一般方法 获取HTML页面中所包含的链接内容 基于bs4库的HTML内容查找方法 "中国大学排名定向爬虫"实例 实例编写： import bs4 import requests from bs4 import BeautifulSoup def getHTMLText(url): ...
爬虫学习笔记二：网络爬虫之提取（MOOC北京理工大学）
qq_44838702的博客
04-20 355
第二周 网络爬虫之提取 单元四 Beautiful Soup库入门 · Beautiful Soup库的基本元素 · Beautiful Soup库是解析、遍历、维护“标签树”的功能库（beautifulsoup4或bs4） <p class="title">...</p> <p>..</p>：标签Tag ​ p：名称Name，成对出现 ​ cl...
Python网络爬虫与信息提取.pdf
02-29
本篇文档是自学python爬虫时候的一个笔记文档，长达千余行左右。 从requests库介绍，bs4库介绍，正则表达式的介绍，scrapy框架的介绍以及应用实例均有涉及。 个人感觉会给是新手学习python爬虫时带来特别大的作用...
Python网络爬虫与信息提取-学习笔记.zip
最新发布
02-21
总的来说，Python网络爬虫与信息提取是一门涵盖广泛的技术领域，涉及Python编程、网络通信、数据解析和存储等多个方面。通过系统学习和实践，你可以构建自己的网络数据获取平台，为数据分析和决策提供强大支持。
《Python网络爬虫与信息提取》第三周 网络爬虫之实战 学习笔记（三）“股票数据定向爬虫”实例
12-20
在本篇《Python网络爬虫与信息提取》的学习笔记中，我们主要探讨了如何构建一个定向爬虫，用于抓取上海证券交易所和深圳证券交易所的股票数据。以下是对这个实例的详细解析： 1、“股票数据定向爬虫”实例介绍 (1)...
《Python网络爬虫与信息提取》第三周 网络爬虫之实战 学习笔记（一）Re（正则表达式）库入门
01-21
目录 一、Re（正则表达式）库入门 1、正则表达式的概念 （1）正则表达式的定义 （2）正则表达式的概念 （3）正则表达式的举例 （4）正则表达式的特点 （5）正则表达式在文本处理中十分常用 （6）正则表达式的使用 ...
python网络爬虫学习笔记（1）
12-24
本文实例为大家分享了python网络爬虫的笔记，供大家参考，具体内容如下 （一） 三种网页抓取方法 1、 正则表达式： 模块使用C语言编写，速度快，但是很脆弱，可能网页更新后就不能用了。 2、Beautiful Soup 模块...
北京理工大学-Python网络爬虫与信息提取学习笔记02
I_HAVE_COME的博客
04-13 202
Robo协议 小规模，数据量小，爬取速度不敏感的网页 用Requests库 中规模，数据规模大，爬取速度敏感的网站 用Scrapy库 大规模，搜索引擎，爬取速度关键，爬取全面 定制开发（如搜狗等） Robots，Robots Exclusion Standard 网络爬虫排除标准 作用：网站告知网络爬虫哪些页面可以爬取，哪些不行 形式：在网站根目录下的robots.txt文件 User-angen...
北京理工大学-Python网络爬虫与信息提取学习笔记10
I_HAVE_COME的博客
04-16 403
Scrapy爬虫产生步骤 1、建立一个Scrarrpy爬虫工程 cmd命令提示符中选择目录 输入 scrapy start project name #工程名不要含中文，否则之后生成爬虫时会报错 生成文件中的scrapy.cfg 部署Scrapy爬虫的配置文件 name/ Scrapy框架的用户自定义Python代码 _ init_.py 初始化脚本...
【MOOC】Python网络爬虫与信息提取-北京理工大学-part 1
linzch3的博客
03-07 9284
【第〇周】网络爬虫之前奏课程推荐阅读文章：关于反爬虫，看这一篇就够了网络爬虫”课程内容导学【第一周】网络爬虫之规则1.Requests库入门Requests库英文文档：Requests: HTTP for Humans Requests库中文文档：Requests: 让 HTTP 服务人类注意：中文文档的内容要稍微比英文文档的更新得慢一些，参考时需要关注两种文档对应的Requests库版本。（对于
北京理工大学MOOC爬虫笔记一（第0+1周）
xixiaodou的博客
05-29 446
一共四周 一、开发工具及特点 二、requests库 demo1: import requests r=requests.get('http://www.baidu.com') print(r.status_code) print(r.text) print(r.encoding) print("r.apparent_encoding:{}".format(r.apparent_encoding)) r.encoding='utf-8' #不会出现乱码 print(r.text
Python网络爬虫与信息提取（MOOC）——北理工笔记汇总
杰之行的博客
09-11 527
北京理工大学出品的Python网络爬虫与信息提取（MOOC）已经学习完一段时间了，现在把相关的整理出来，便于查看。 WS00-网络爬虫课程内容导学 WS01-Request库入门 WS02-网络爬虫的盗亦有道 WS03-Requests库网络爬取实战 WS04-Beautiful Soup库入门 WS05-信息标记与提取方法 WS06-实例1-中国大学排名爬虫 WS07-Re(正则表达式)库入门 WS08-实例2-淘宝商品信息定向爬虫 WS09-实例3-股票数据定向爬虫 ...
北京理工大学-Python网络爬虫与信息提取学习笔记01
I_HAVE_COME的博客
04-13 327
request库方法 主要有7个方法 requests.request(method,url,**kwargs) 构造一个请求，支撑以下各方法的基础方法 method：请求方法，对应get/put/post等 r=requests.request(‘GET’,url,**kwargs) r=requests.request(‘HEAD’,url,**kwargs) r=requests.reque...
北理工2017年爬虫目录
weixin_44382711的博客
03-18 130
北理工爬虫笔记目录整理，于2002.3.18 丑憨批的爬虫笔记1（导学+requests）） 丑憨批的爬虫笔记2（爬虫引发的问题+robots协议） 丑憨批的爬虫笔记3（实例） 丑憨批的爬虫笔记4BeautifulSoup4 丑憨批的爬虫笔记5信息标记与提取 丑憨批的爬虫笔记6实例 爬虫笔记7正则表达式与re库 爬虫笔记8实例淘宝商品比价爬虫 爬虫笔记9实例股票数据 爬虫笔记10Scrapy-框架...
python爬取网页的代码_python爬取网页的通用代码框架
weixin_39944944的博客
11-20 313
原博文2018-05-14 15:02 −#爬取网页的通用代码框架import requests def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200，引发HTTPError异常 r.encod...相关推荐2019-12-19 11:28 −1. ...
Python网络爬虫与信息提取01
qq_38967187的博客
03-31 152
网络爬虫之规则 Requests库的安装 Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求，支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要方法，对应于HTTP的GET requests.head() 获取HTML网页头信息的方法，对应于HTTP的HEAD requests.post() 向HTML网页提交...
Python网络爬虫进阶教程：实战笔记与技巧
网络爬虫与数据采集笔记更新2是由雨霓同学在2020年11月19日整理的学习记录，由泠鸢组织，针对Python网络爬虫的系统教程。本笔记覆盖了从基础入门到高级进阶的多个关键知识点，旨在帮助读者掌握爬虫技术。 1. **初始...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值