一、计算机网络基础
常用的爬虫模块
urllib包含的模块
- urllib.request: 打开和读取urls
- urllib.error: 包含urllib.request产生的常见的错误,使用try捕捉
- urllib.parse: 包含解析url的方法
- urllib.robotparse: 解析robots.txt文件
实验步骤
步骤1:在Pyhon中创建一个list,存储以下个人信息(姓名、年龄、成绩):[小王、40、50],[小贾、50、23]
## python创建list一共有四种方式
c = list()
c.append(['小王',40,50])
c.append(['小贾',50,23])
步骤2:将步骤1的数据存储为json格式,并进行读取
# 注意有中文的读取,ensure_ascii=False
import json
cJson = json.dumps(c,ensure_ascii=False)
步骤3:将步骤1的数据存储为xml格式,并进行读取
xml格式是可扩展标记语言,它很像我们常见的HTML超文本标记语言,我们爬取到的网页就是这种格式的,重点应放在使用python对xml格式的文件进行处理
1. import xml.dom.minidom
步骤4:思考从打开coggle.club到网页展示,有什么步骤?
一个网页的过程:浏览器向服务器发送get请求,服务器根据请求返回所需要的东西给客户端
爬虫开始
1.首先,导入我们所需的库:
from bs4 import BeautifulSoup
import requests
2.接着我们用url确定我们的目标网址:
url=
3.接下来,我们开始利用requests.get()来获取网页并利用bs4解析网页:
response=requests.get(url)
soup=BeautifulSoup(response.text,'lxml')