### 爬虫爬取

爬虫

一，概念：可以快速的根据我们的需求将网站中的数据提取出来。
爬虫（Spider）又被叫做：网络蜘蛛、蠕虫等
二、爬虫是怎样的流程
第一步：请求网址未响应结果
第二步： 解析响应结果中我们需要的部分
第三步：提取数据
第四步： 数据持久化
三、爬虫涉及的技术点
请求：requests、selenium,urllib等
解析，抓取数据：BeautifulSoup4、lxml、正则表达式、等
反爬虫机制 – —— 》反反爬虫措施
四、 静态页面和动态页面
静态页面：网页一经发布，网页内的内容不经过人为（也可能是固定的脚本程序代替人）修改，是永远不会变的
动态页面：指页面指的数据使用JavaScript进行动态加载（从别的地方引过来，及数据本来不存在，只是临时显示）

requests的使用

import requests
# requests模块
# 向网址所在服务器发送请求，获取服务器返回的响应结果。
URL = 'https://www.chinanews.com.cn/scroll-news/news1.html'
response = requests.get(url = URL)
print(response)
# a.状态码： status_code
# 200:请求成功
# 403：爬虫被服务器拒绝
# 404：网页资源丢失
# 500：服务器崩溃
# 2开头：都代表成功
# 4和5开头都是有错误
print(response.status_code)
#-------------------------
# 如果出现乱码，，使用encoding解决
response.encoding = 'utf-8'
#因为网站响应结果没有传输编码，所以requests默认使用iso-8859-1编码（ASCII），就造成乱码
# 有个别网站没有规定charset,可以将encoding设置为None或者使用中文编码去试
#-----------------------------
# b.字符串类型网页源代码text
print(response.text)
# c.字节码（二进制） 类型网页源代码：content
print(response.content)

下载图片练习

import requests
URl = 'https://api.ixiaowai.cn/gqapi/gqapi.php'
for i in range(1,11):
    response = requests.get(url=URl)
    if response.status_code == 200:
        # print(response.content)
        #去创建一个images文件
        with open(f'./images/{i}.jpg','wb') as f:
            f.write(response.content)
    else:
        print(f'状态码为{response.status_code}')

中国新闻网新闻爬取

import requests
import csv
from re import findall
# 创建文件
file = open('./中国新闻网.csv', 'w', encoding='utf-8', newline='')
mywrite = csv.writer(file)
mywrite.writerow(['类型', '标题', '链接', '时间'])
# -------------------
# 多页爬取
for page in range(1, 11):
    print(page)
    URL = f'https://www.chinanews.com.cn/scroll-news/news{page}.html'
    # URL = 'https://movie.douban.com/top250'
    # headers:用于给requests写的爬虫提供各种各样的参数
    # User-Agent：将爬虫伪装成浏览器
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
    }

    response = requests.get(url=URL, headers=Headers)
    # print(response.status_code)
    if response.status_code == 200:
        # 此处的网页源代码等于浏览器中"显示网页源代码"功能的结果
        response.encoding = 'utf-8'
        string = response.text
        # print(string, type(string))
        # --------爬取数据----------
        re_str = r'<li><div class="dd_lm">.+?</li>'
        liList = findall(re_str, string)
        # print(liList, len(liList))
        for li in liList:
            # 新闻类型
            newsType = findall(r'>([\u4e00-\u9fa5]{2})</a>', li)[0]
            # 新闻标题、新闻链接
            # re_str = r'<div class="dd_bt"><a href="(/[a-z]+/?.+?/\d{4}/[01]\d-?\d{1,2}/[a-z]*\d+\.s?html[\t]{0,2})">(.+?)</a>'
            re_str = r'<div class="dd_bt"><a href="(.+?)">(.+?)</a>'
            newsHref, newsTitle = findall(re_str, li)[0]
            newsHref = 'https://www.chinanews.com.cn' + newsHref
            # 正则补充：可以在正则中使用\将特殊意义的符号转成普通符号
            # 闰年平年规律：04、08、12、16、20、0400、0800、1200、1600、2000等
            # 发布时间
            newsTime = findall(r'<div class="dd_time">(.+?)</div>', li)[0]
            # print(newsType, newsTitle, newsHref, newsTime)
            # 写入数据
            data = [newsType, newsTitle, newsHref, newsTime]
            print(data)
            mywrite.writerow(data)
        # -------------------------
    else:
        print(f'状态码{response.status_code}')

file.close()
```python

### 正则表达式换行问题
```python
import re
string = """wf;;1234

5678e3dd\n3

2e3"""
re_str = r';;(.+?)e'
re.S:将多行字符串转为单行
正则表达式默认单行匹配，可以使用re.S将整个字符串看做单行
print(re.findall(re_str,string,flags=re.S))

“”
re_str = r’;😦.+?)e’
re.S:将多行字符串转为单行
正则表达式默认单行匹配，可以使用re.S将整个字符串看做单行
print(re.findall(re_str,string,flags=re.S))