day15

m0_53943252

于 2022-08-13 10:12:30 发布

阅读量97

点赞数

文章标签：爬虫 javascript 开发语言

本文链接：https://blog.csdn.net/m0_53943252/article/details/126315714

版权

爬虫：

可以快速地根据我们的需求，将网站中的数据提取出来
爬虫(Spider)又被叫做：网络蜘蛛、蠕虫等.

爬虫的流程：

一、：请求网址获取响应结果
二、：解析响应结果中我们需要的那部分
三、：提取数据
四、：数据持久化

涉及的技术点：

请求：requests、selenium、urllib等
解析、抓取数据：BeautifulSoup4、lxml、re等
反爬虫机制 —> 反反爬虫措施
静态页面：网页一经发布，网页中的内容不经过人为(也可能是固定的脚本程序代替人)修改，是永远不会变的，
动态页面：指页面中的数据使用JavaScript进行动态加载(从别的地方引入过来，即数据本来不存在，只是临时显示)

requests:

向网址所在服务器发送请求，获取服务器返回的响应结果

状态码：status_code:

200：请求成功
403：爬虫被服务器拒绝
404：网页资源丢失
500：服务器崩溃
2开头的都代表成功
4开头的和5开头的都是有错误

如果出现乱码：

因为网站响应结果没有传输编码，所以requests默认使用iso-8859-1编码(ASCII)，造成乱码
有个别网站在源代码中没有规定charset,假设出现乱码，可以将encoding设置为None或者使用中文编码去试

内容类型：

字符串类型网页源代码：text
字节码(二进制)类型网页源代码：content

import requests
# requests模块：
# 向网址所在服务器发送请求，获取服务器返回的响应结果

URL = 'https://www.chinanews.com.cn/scroll-news/news1.html'
response = requests.get(url=URL)
print(response)

print(response.status_code)

#----------------------------------
# 如果出现乱码，使用encoding解决
response.encoding = 'utf-8'
# 因为网站响应结果没有传输编码，所以requests默认使用iso-8859-1编码(ASCII)，造成乱码
# 有个别网站在源代码中没有规定charset,假设出现乱码，可以将encoding设置为None或者使用中文编码去试

#----------------------------------
# b.字符串类型网页源代码：text
print(response.text)

# c.字节码(二进制)类型网页源代码：content
print(response.content)

下载在线图片：

import requests

Url = 'https://api.ixiaowai.cn/gqapi/gqapi.php'

for i in range(10):
    response = requests.get(url=Url)
    if response.status_code == 200:
        # print(response.content)
        with open(f'./images/{i}.jpg', 'wb') as f:
            f.write(response.content)
    else:
        print(f'状态码{response.status_code}')

爬取例子：

import requests
from re import findall
import csv


csv_file = open('中国新闻网.csv', 'w', encoding='utf-8', newline='')
myWriter = csv.writer(csv_file)
myWriter.writerow(['新闻类型', '新闻标题', '新闻链接', '发布时间'])
for ii in range(1, 11):

    URL = f'https://www.chinanews.com.cn/scroll-news/news{ii}.html'
    # headers:用于给requests写的爬虫提供各种参数
    # User-Agent：将爬虫伪装成浏览器
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    response = requests.get(url=URL, headers=Headers)
    # print(response.status_code)
    if response.status_code == 200:
        # 此处的网页源代码，浏览器中“显示网页源代码”功能的结果
        response.encoding = 'utf-8'
        string = response.text
        # print(string)
        # 爬取数据
        re_str = '<li><div class="dd_lm">.+?</li>'
        liList = findall(re_str, string)
        # print(liList)

        for li in liList:
            # print(li)
            # 新闻类型
            # count += 1
            newType = findall(r'>([\u4e00-\u9fa5]{2})</a>', li)[0]

            # 新闻标题
            newTitle = findall(r'<div class="dd_bt"><a href="(.+?)">(.+?)</a>', li)[0][1]

            # 新闻链接(方式一)
            newHref = findall(r'<div class="dd_bt"><a href="(.+?)">(.+?)</a>', li)[0][0]
            # 方式二
            # newHref = findall(r'<a href="(.+?)">.+?</a></div>', li)[0]
            """完整新闻路径"""
            newHref = 'https://www.chinanews.com.cn/' + newHref

            # 发布时间
            newTime = findall(r'dd_time">(.+?)</div>', li)[0]
            list__ = [newType, newTitle, newHref, newTime]
            # print(f'新闻类型:{newType}')
            # print(f'新闻标题:{newTitle}')
            # print(f'新闻链接:{newHref}')
            # print(f'发布时间:{newTime}')
            # print('============================================')
            myWriter.writerow(list__)
    else:
        print(f'状态码是：{response.status_code}')
# print(count)
csv_file.close()

网页换行：

import re

string = """fghjkl;;1234
5678rtyy

7890

2345
"""
# re.S：将多行字符串转换为单行
# 正则表达式默认是单行匹配，可已使用re.S将整个字符串看做单行
print(re.findall(r';;(.+?)r', string, re.S))
jkl;;1234
5678rtyy

7890

2345
"""
# re.S：将多行字符串转换为单行
# 正则表达式默认是单行匹配，可已使用re.S将整个字符串看做单行
print(re.findall(r';;(.+?)r', string, re.S))