python 网页爬虫作业调度_第三次作业-MOOC学习笔记：Python网络爬虫与信息提取

1.注册中国大学MOOC

2.选择北京理工大学嵩天老师的《Python网络爬虫与信息提取》MOOC课程

3.学习完成第0周至第4周的课程内容，并完成各周作业

4.提供图片或网站显示的学习进度，证明学习的过程。

5.写一篇不少于1000字的学习笔记，谈一下学习的体会和收获。

学习笔记与收获

第一周：requests库

1.requests库的安装：pip install requests

2.测试requests库的安装：import requests

r = requests.get("http://www.baidu.com")

r.status_code 状态码

200 访问成功

r.encoding = 'utf-8'

r.text

3.抓取百度页面操作截图：

4.requests库的七个主要方法

requests.request():创造一个请求

requests.get():获取网页的主要方法

requests.head():获取网页头信息

requests.post():向网页提交post请求的方法

requests.put():向网页提交put请求的方法

requests.patch():向网页提交局部修改请求

requests.delete():向网页提交删除请求

第二周:beautiful soup

1.beautiful soup的安装：pip install beautifulsoup4

2.beautiful soup库是解析、遍历、维护“标签树”的功能库。

3.beautiful soup库解析器有html.parser、lxml、xml、html5lib

---恢复内容结束---

1.注册中国大学MOOC

2.选择北京理工大学嵩天老师的《Python网络爬虫与信息提取》MOOC课程

3.学习完成第0周至第4周的课程内容，并完成各周作业

4.提供图片或网站显示的学习进度，证明学习的过程。

5.写一篇不少于1000字的学习笔记，谈一下学习的体会和收获。

学习笔记与收获

第一周：requests库

1.requests库的安装：pip install requests

2.测试requests库的安装：import requests

r = requests.get("http://www.baidu.com")

r.status_code 状态码

200 访问成功

r.encoding = 'utf-8'

r.text

3.抓取百度页面操作截图：

4.requests库的七个主要方法

requests.request():创造一个请求

requests.get():获取网页的主要方法

requests.head():获取网页头信息

requests.post():向网页提交post请求的方法

requests.put():向网页提交put请求的方法

requests.patch():向网页提交局部修改请求

requests.delete():向网页提交删除请求

第二周:beautiful soup

1.beautiful soup的安装：pip install beautifulsoup4

2.beautiful soup库是解析、遍历、维护“标签树”的功能库。

3.beautiful soup库解析器有html.parser、lxml、xml、html5lib

第三周：re正则表达式

1.正则表达式常用操作符：*表示前一个字符0次或无限次扩展，例如：abc*为ab、abc、abcc、abccc...

+表示前一个字符1次或无限次扩展，例如：abc+为abc、abcc、abccc...

？表示前一个字符0次或1次扩展，例如：abc？为ab、abc

{m}表示扩展前一个字符m次，例如ab{2}c为abbc

{m，n}表示扩展前一个字符m到n次，例如ab{1，3}c为abc、abbc、abbbc

2.re的主要功能函数

re.search()：在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

re.match()：在一个字符串的开始位置起匹配正则表达式，返回match对象

re.findall()：搜索字符串

re.split()：将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

re.finditer()：搜索字符串，返回匹配结果的迭代类型

re.sub()：在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

第四周：scrapy爬虫框架

1.Engine：控制所有模块之间的数据流

2.Downloader：根据请求下载网页

3.Scheduler：对所有爬取请求进行调度管理

4.Downloader Middleware实施Engine、Scheduler和Downloader之间进行用户可配置的控制

5.Spider解析Downloader返回的响应

6.Item Pipelines的操作包括：清理、检查和查重爬取项中的HTML数据、将数据存储到数据库

7.Scrapy的常用命令：startproject：创建一个新工程

genspider：创建一个爬虫

settings：获得爬虫配置信息

crawl：运行一个爬虫

收获

通过学习嵩天老师的《Python网络爬虫与信息提取》，对爬虫知识有了部分了解。网络爬虫又被称为网页蜘蛛，是一种按照一定的规则，自动的抓取信息的程序或者脚本。爬虫技术是通过链接地址来寻找网页。通过这几天的学习，也体会到爬虫技术的有趣之处，但是要掌握这门技术，还是需要花很多心思去学习。在平台学习的过程中，也发现资源的广泛性，只要想学习，就可以从平台上寻找到各种有用的课程，通过学习课程，掌握知识。要学会好好利用这些宝贵的资源。