爬虫:
- 可以快速地根据我们的需求,将网站中的数据提取出来
- 爬虫(Spider)又被叫做:网络蜘蛛、蠕虫等.
爬虫的流程:
- 一、:请求网址获取响应结果
- 二、:解析响应结果中我们需要的那部分
- 三、:提取数据
- 四、:数据持久化
涉及的技术点:
- 请求:requests、selenium、urllib等
- 解析、抓取数据:BeautifulSoup4、lxml、re等
- 反爬虫机制 —> 反反爬虫措施
- 静态页面:网页一经发布,网页中的内容不经过人为(也可能是固定的脚本程序代替人)修改,是永远不会变的,
- 动态页面:指页面中的数据使用JavaScript进行动态加载(从别的地方引入过来,即数据本来不存在,只是临时显示)
requests:
- 向网址所在服务器发送请求,获取服务器返回的响应结果
状态码:status_code:
- 200:请求成功
- 403:爬虫被服务器拒绝
- 404:网页资源丢失
- 500:服务器崩溃
- 2开头的都代表成功
- 4开头的和5开头的都是有错误
如果出现乱码:
- 因为网站响应结果没有传输编码,所以requests默认使用iso-8859-1编码(ASCII),造成乱码
- 有个别网站在源代码中没有规定charset,假设出现乱码,可以将encoding设置为None或者使用中文编码去试
内容类型:
- 字符串类型网页源代码:text
- 字节码(二进制)类型网页源代码:content
import requests
URL = 'https://www.chinanews.com.cn/scroll-news/news1.html'
response = requests.get(url=URL)
print(response)
print(response.status_code)
response.encoding = 'utf-8'
print(response.text)
print(response.content)
下载在线图片:
import requests
Url = 'https://api.ixiaowai.cn/gqapi/gqapi.php'
for i in range(10):
response = requests.get(url=Url)
if response.status_code == 200:
with open(f'./images/{i}.jpg', 'wb') as f:
f.write(response.content)
else:
print(f'状态码{response.status_code}')
爬取例子:
import requests
from re import findall
import csv
csv_file = open('中国新闻网.csv', 'w', encoding='utf-8', newline='')
myWriter = csv.writer(csv_file)
myWriter.writerow(['新闻类型', '新闻标题', '新闻链接', '发布时间'])
for ii in range(1, 11):
URL = f'https://www.chinanews.com.cn/scroll-news/news{ii}.html'
Headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
response = requests.get(url=URL, headers=Headers)
if response.status_code == 200:
response.encoding = 'utf-8'
string = response.text
re_str = '<li><div class="dd_lm">.+?</li>'
liList = findall(re_str, string)
for li in liList:
newType = findall(r'>([\u4e00-\u9fa5]{2})</a>', li)[0]
newTitle = findall(r'<div class="dd_bt"><a href="(.+?)">(.+?)</a>', li)[0][1]
newHref = findall(r'<div class="dd_bt"><a href="(.+?)">(.+?)</a>', li)[0][0]
"""完整新闻路径"""
newHref = 'https://www.chinanews.com.cn/' + newHref
newTime = findall(r'dd_time">(.+?)</div>', li)[0]
list__ = [newType, newTitle, newHref, newTime]
myWriter.writerow(list__)
else:
print(f'状态码是:{response.status_code}')
csv_file.close()
网页换行:
import re
string = """fghjkl;;1234
5678rtyy
7890
2345
"""
print(re.findall(r';;(.+?)r', string, re.S))
jkl;;1234
5678rtyy
7890
2345
"""
print(re.findall(r';;(.+?)r', string, re.S))