Python爬虫入门（结合网站代码演示）

于 2024-07-31 21:43:54 发布
阅读量685 收藏 7
点赞数 7
分类专栏： python 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65960840/article/details/140824892
版权

原理

        第一步发送请求

        与浏览器请求访问服务器地址一样，python程序向服务器发送访问请求，服务器返回数据。

        在python中我们可以使用

        第二步解析网页内容

        浏览器在接收到服务器返回的数据后，会自行解析内容最后呈现出我们所看到的界面。但是在程序中我们收到的内容是一大串数据，我们需要分析这些数据去拿到我们想要的内容。

        第三步储存和分析数据 

详细过程

我们以汽车之家二手车内容为例（我随便找的网站）

        发送请求

        可以使用python中的requests库，来构建get请求

import requests

# 定义headers参数，修改 User-Agent来模拟浏览器的请求访问
# 如果不写user-agent，服务器会知道这个get请求是来自于程序发出的而不是浏览器，对于一些不希望被爬取的网站可能会拒绝访问
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"}

# 传入headers参数，修改指定信息
response = requests.get('https://www.che168.com/china/20_30/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion', headers=headers)

if response.ok:
    # 使用response.text查看请求结果的内容
    print("请求成功")
    # print(response.text)
else:
    print("响应失败")

         输出结果如下：

        可以看到，我们请求响应得到的结果是一个htm文件格式的内容，这是对应网页的源码，就与我们在该网页查看详细源码的结果一样

        user-agent的查询方法：进入该网站的详细页面，点击网络

解析内容

        根据个人需求，我们拟定的获取目标如下：即一辆车的售价、行使公里数、上牌日期、出售地、车名

        可以使用python中的BeautifulSoup库，来解析html文件，解析后的解构为树状结构，方便程序查询想要的内容，如下图：

        通过在网页源码端口的详细查询，我们得知了汽车名字的信息如下：h4标签，class类别是'card-name'。

        所以我们可以使用BeautifulSoup来解析和查找对应信息，代码如下：

import requests
from bs4 import BeautifulSoup

# 定义headers参数，修改 User-Agent来模拟浏览器的请求访问
# 如果不写user-agent，服务器会知道这个get请求是来自于程序发出的而不是浏览器，对于一些不希望被爬取的网站可能会拒绝访问
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"}

# 传入headers参数，修改指定信息
response = requests.get('https://www.che168.com/china/20_30/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion', headers=headers)

if response.ok:
    print("请求成功")

    # 将得到的HTML文本转换成BeautifulSoup对象
    # 因为BeautifulSoup不光可以解析HTML文件，使用需要指定解析器为HTML解析器
    soup = BeautifulSoup(response.text, 'html.parser')

    # 查找标签为h4，class_='card-name'的元素，返回一个列表
    car_name = soup.findAll('h4', class_='card-name')

    for i in car_name:

        # 因为返回的列表是标签类型，需要取出文本所以加上.string
        print(i.string)

else:
    print("响应失败")

        运行结果：

         辆车的售价、行使公里数、上牌日期、出售地、车名的整个解析：

        由于一辆车的所有信息都放在一个<li>标签下，为了保证信息一一对应，我们放弃之前查询全部<h4>标签的做法，转而先查询所有<li>标签，然后再查询该<li>标签下的汽车名字、价格、信息等，这样就可以做到信息的对应。

        对应代码如下:

# 汽车之家二手车信息爬取
import requests
from bs4 import BeautifulSoup

# 定义headers参数，修改 User-Agent来模拟浏览器的请求访问
# 如果不写user-agent，服务器会知道这个get请求是来自于程序发出的而不是浏览器，对于一些不希望被爬取的网站可能会拒绝访问
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"}

# 传入headers参数，修改指定信息
response = requests.get('https://www.che168.com/china/20_30/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion', headers=headers)

if response.ok:
    print("请求成功")

    # 创建列表储存数据
    all_data = []

    # 将得到的HTML文本转换成BeautifulSoup对象
    # 因为BeautifulSoup不光可以解析HTML文件，使用需要指定解析器为HTML解析器
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到所有li标签
    all_tag_li = soup.find_all('li', class_='cards-li list-photo-li')

    # 在每个li标签中找到想要的信息
    for tag_li in all_tag_li:
        try:
            # 价格
            price = tag_li.find('span', class_='pirce').find('em').text

            # 名字
            name = tag_li.find('h4', class_='card-name').text

            # 信息
            info = tag_li.find('p', class_='cards-unit').text

            # 加入到列表中
            all_data.append([price, name, info])

        except AttributeError:
            # 对于个别li标签不完整的，忽略并继续下一个
            continue

    for data in all_data:
        print(data)

else:
    print("响应失败")

        运行结果：

 

结果储存

        根据需求选择储存方式，这里我选项保存到本地csv文件中。代码如下：

# 汽车之家二手车信息爬取
import requests
from bs4 import BeautifulSoup
import csv

# 定义headers参数，修改 User-Agent来模拟浏览器的请求访问
# 如果不写user-agent，服务器会知道这个get请求是来自于程序发出的而不是浏览器，对于一些不希望被爬取的网站可能会拒绝访问
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"}

# 传入headers参数，修改指定信息
response = requests.get('https://www.che168.com/china/20_30/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179#currengpostion', headers=headers)

if response.ok:
    print("请求成功")

    # 创建列表储存数据
    all_data = []

    # 将得到的HTML文本转换成BeautifulSoup对象
    # 因为BeautifulSoup不光可以解析HTML文件，使用需要指定解析器为HTML解析器
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到所有li标签
    all_tag_li = soup.find_all('li', class_='cards-li list-photo-li')

    # 在每个li标签中找到想要的信息
    for tag_li in all_tag_li:
        try:
            # 价格
            price = tag_li.find('span', class_='pirce').find('em').text
            # 名字
            name = tag_li.find('h4', class_='card-name').text
            # 信息
            info = tag_li.find('p', class_='cards-unit').text
            # 加入到列表中
            all_data.append([price, name, info])
        except AttributeError:
            # 对于个别li标签不完整的，忽略并继续下一个
            continue

    # 定义CSV文件的路径为当前python文件所在路径目录下，名称为car_data.csv
    csv_file_path = './car_data.csv'

    with open(csv_file_path, 'w', newline='', encoding='utf-8') as csv_file:
        # 创建CSV写入器
        csv_writer = csv.writer(csv_file)
        # 写入CSV文件的表头
        csv_writer.writerow(['价格', '名称', '信息'])
        # 写入CSV文件的每一行数据
        csv_writer.writerows(all_data)

    print(f"数据已保存到 {csv_file_path}")


else:
    print("响应失败")

运行结果：

优化程序 

        1.上述代码只能爬取一页的内容，我们需要把整个100页内的所有汽车信息爬取下来。

         2.由于<li>标签内的汽车信息是分布在一个<p>标签内的，导致爬取到的汽车公里数、上牌时间、出售地点没有得到分开，我们需要分别存储这些信息。

        最终代码如下：

# 汽车之家二手车信息爬取
import os
import requests
from bs4 import BeautifulSoup
import csv


def download(page):
    # 定义headers参数，修改 User-Agent来模拟浏览器的请求访问
    # 如果不写user-agent，服务器会知道这个get请求是来自于程序发出的而不是浏览器，对于一些不希望被爬取的网站可能会拒绝访问
    headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"}

    # 传入headers参数，修改指定信息
    response = requests.get(f'https://www.che168.com/china/20_30/a0_0msdgscncgpi1ltocsp{page}exx0/?pvareaid=102179#currengpostion',headers=headers)

    if response.ok:
        # 创建列表储存数据
        all_data = []

        # 将得到的HTML文本转换成BeautifulSoup对象
        # 因为BeautifulSoup不光可以解析HTML文件，使用需要指定解析器为HTML解析器
        soup = BeautifulSoup(response.text, 'html.parser')

        # 找到所有li标签
        all_tag_li = soup.find_all('li', class_='cards-li list-photo-li')

        # 在每个li标签中找到想要的信息
        for tag_li in all_tag_li:
            try:
                # 价格
                price = tag_li.find('span', class_='pirce').find('em').text
                # 名字
                name = tag_li.find('h4', class_='card-name').text
                # 信息
                info = tag_li.find('p', class_='cards-unit').text
                # 切割信息
                info_list = info.split('／')
                # 里程
                mileage = info_list[0]
                # 上牌日期
                date = info_list[1]
                # 出售地点
                location = info_list[2]
                # 加入到列表中
                all_data.append([price, name, mileage, date, location])
            except AttributeError:
                # 对于个别li标签不完整的，忽略并继续下一个
                continue

        # 定义CSV文件的路径为当前python文件所在路径目录下，名称为car_data.csv
        csv_file_path = './car_data.csv'

        # 检查CSV文件是否存在
        if os.path.exists(csv_file_path):
            # 如果CSV文件存在，则追加写入
            with open(csv_file_path, 'a', newline='', encoding='utf-8') as csv_file:
                # 创建CSV写入器
                csv_writer = csv.writer(csv_file)
                # 写入CSV文件的每一行数据
                csv_writer.writerows(all_data)
        else:
            # 如果CSV文件不存在，则创建并写入
            with open(csv_file_path, 'w', newline='', encoding='utf-8') as csv_file:
                # 创建CSV写入器
                csv_writer = csv.writer(csv_file)
                # 写入CSV文件的表头
                csv_writer.writerow(['价格', '名称', '里程', '上牌日期', '出售地点'])
                # 写入CSV文件的每一行数据
                csv_writer.writerows(all_data)

        print(f"网页{page}爬取成功")

    else:
        print("响应失败")


if __name__ == "__main__":
    # 取100页数据
    for i in range(1, 101):
        download(i)
    print("所有网页取完成")

 运行结果：

csv文件展示：

 存在的问题

        最后爬取到的数据只有217条，显然是远远少于实际数据的。问题出在了内容解析的时候，因为每个<li>标签不能保证都是完整的按照我们的格式来的，例如有的<li>标签缺少'span', class_='pirce'、有的<li>标签缺少'h4', class_='card-name'，所以在爬取不完整标签的时候会报错AttributeError，这里我使用了异常捕获跳过了报错，同时也跳过了爬取这条不完整的数据。

        后续解决了我会更新代码的。

        更新：

        因为在<li>标签中的class类，有的是cards-li list-photo-li cxc-card，有的是cards-li list-photo-li，所以在爬取的时候我们的代码只爬取了类别为cards-li list-photo-li的数据。

        解决办法很简单，我们直接搜索指定目录下的所有<li>标签即可。

        由于之前的代码headers只有user-agent，连续爬取几次后就会被网站拒绝访问，所以在headers中多添加了几个参数，让我们的爬虫程序看起来更像浏览器的访问操作。同时加入系统沉睡，限制程序每一秒只访问一个页面，减少被拒绝访问的风险。

        参数的获取方法与user-agent相同

 

最终源码

# 汽车之家二手车信息爬取
import os
import time
import requests
from bs4 import BeautifulSoup
import csv


def download(page):
    # 定义headers参数，修改 User-Agent来模拟浏览器的请求访问
    # 如果不写user-agent，服务器会知道这个get请求是来自于程序发出的而不是浏览器，对于一些不希望被爬取的网站可能会拒绝访问
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
        'Accept-Encoding': 'gzip, deflate, br, zstd',
        'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
        'Cache-Control': 'max-age=0',
        'priority': 'u=0, i',
        'upgrade-insecure-requests': '1',
        'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0",
        'Cookie': 'fvlid=1722413416137LVe9FhE7rzhg; sessionid=f4912b41-3403-445e-b9d4-4fc459234c54; sessionip=10.132.4.114; area=0; Hm_lvt_d381ec2f88158113b9b76f14c497ed48=1722413417; HMACCOUNT=055AE983BAABD8CA; che_sessionid=41B341E6-588E-4350-BC8B-0271539DE377%7C%7C2024-07-31+16%3A10%3A17.436%7C%7Cwww.autohome.com.cn; UsedCarBrowseHistory=0%3A51459576; carDownPrice=1; userarea=0; listuserarea=0; sessionvisit=c00aac7b-cd18-4f3d-9495-566e1ada5783; sessionvisitInfo=f4912b41-3403-445e-b9d4-4fc459234c54||0; che_sessionvid=5B005A7D-BFFD-46DD-8FF7-52B4D66F5ED6; ahpvno=34; Hm_lpvt_d381ec2f88158113b9b76f14c497ed48=1722431981; showNum=34; ahuuid=EEBCCA8E-4EA4-4FF4-BD14-05E154C3AFEF; v_no=34; visit_info_ad=41B341E6-588E-4350-BC8B-0271539DE377||5B005A7D-BFFD-46DD-8FF7-52B4D66F5ED6||-1||-1||34; che_ref=www.autohome.com.cn%7C0%7C100444%7C0%7C2024-07-31+21%3A19%3A42.067%7C2024-07-31+16%3A10%3A17.436; sessionuid=f4912b41-3403-445e-b9d4-4fc459234c54'
    }

    # 传入headers参数，修改指定信息
    response = requests.get(f'https://www.che168.com/china/20_30/a0_0msdgscncgpi1ltocsp{page}exx0/?pvareaid=102179#currengpostion',headers=headers)

    if response.ok:
        # 创建列表储存数据
        all_data = []

        # 将得到的HTML文本转换成BeautifulSoup对象
        # 因为BeautifulSoup不光可以解析HTML文件，使用需要指定解析器为HTML解析器
        soup = BeautifulSoup(response.text, 'html.parser')

        # 找到所有li标签
        all_tag_li = soup.find('div', class_='content fn-clear card-wrap') \
            .find('div', class_='tp-cards-tofu fn-clear') \
            .find('ul', class_='viewlist_ul').find_all('li')

        # 在每个li标签中找到想要的信息
        for tag_li in all_tag_li:
            try:
                # 价格
                price = tag_li.find('span', class_='pirce').find('em').text
                # 名字
                name = tag_li.find('h4', class_='card-name').text
                # 信息
                info = tag_li.find('p', class_='cards-unit').text
                # 切割信息
                info_list = info.split('／')
                # 里程
                mileage = info_list[0]
                # 上牌日期
                date = info_list[1]
                # 出售地点
                location = info_list[2]
                # 加入到列表中
                all_data.append([price, name, mileage, date, location])
            except AttributeError:
                # 对于个别li标签不完整的，忽略并继续下一个
                continue

        # 定义CSV文件的路径为当前python文件所在路径目录下，名称为car_data.csv
        csv_file_path = './car_data.csv'

        # 检查CSV文件是否存在
        if os.path.exists(csv_file_path):
            # 如果CSV文件存在，则追加写入
            with open(csv_file_path, 'a', newline='', encoding='utf-8') as csv_file:
                # 创建CSV写入器
                csv_writer = csv.writer(csv_file)
                # 写入CSV文件的每一行数据
                csv_writer.writerows(all_data)
        else:
            # 如果CSV文件不存在，则创建并写入
            with open(csv_file_path, 'w', newline='', encoding='utf-8') as csv_file:
                # 创建CSV写入器
                csv_writer = csv.writer(csv_file)
                # 写入CSV文件的表头
                csv_writer.writerow(['价格', '名称', '里程', '上牌日期', '出售地点'])
                # 写入CSV文件的每一行数据
                csv_writer.writerows(all_data)

        print(f"网页{page}爬取成功,找到{len(all_data)}条数据")

    else:
        print("响应失败")


if __name__ == "__main__":
    # 取100页数据
    for i in range(1, 101):
        try:
            download(i)
        except AttributeError:
            print(f"网页{i}取失败")
        time.sleep(1)  # 沉睡1秒，避免被网站拒绝
    print("所有网页取完成")

结果如下： 

CSV结果如下：

        最后爬取到了八千多条数据 

LiyC;
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫小白入门（系列4）
weixin_45722061的博客
10-09 360
一、前言 在上一篇博文中，我们的爬虫面临着一个问题，在爬取Unsplash网站的时候，由于网站是下拉刷新，并没有分页。所以不能够通过页码获取页面的url来分别发送网络请求。我也尝试了其他方式，比如下拉的时候监控http请求，看看请求是否有规律可以模拟。后来发现请求并没有规律，也就是不能够模拟http请求来获取新的数据（也可能是我水平有限，哪位童鞋找到了规律一定要告诉我哦）。那么就只有模拟下拉操作...
python爬虫基础教程，各阶段代码演示
07-15
Python爬虫基础教程是入门网络数据抓取的重要学习资源，主要涵盖了Python编程语言在爬虫领域的应用。在这个教程中，你将学习到如何利用Python来抓取网页数据，理解网络请求与响应的基本原理，以及如何处理和解析HTML...
Python爬虫入门与登录验证自动化思路
littleschemer的博客
06-09 2513
Python爬虫是使用Python编写的程序，可以自动访问网页并提取其中的信息。爬虫可以模拟浏览器的行为，自动点击链接、填写表单、进行登录等操作，从而获取网页中的数据。本文使用selenium工具，结合第三方打码平台，演示如何全自动登录需要验证码操作的网站平台。
selenium用法详解【从入门到实战】【Python爬虫】【4万字】
向日葵的专属太阳
10-09 23万+
文章目录selenium 简介selenium安装安装浏览器驱动确定浏览器版本下载驱动定位页面元素打开指定页面id 定位name 定位class 定位tag 定位xpath 定位css 定位link 定位partial_link 定位浏览器控制修改浏览器窗口大小浏览器前进&后退浏览器刷新浏览器窗口切换常见操作鼠标控制单击左键单击右键双击拖动鼠标悬停键盘控制设置元素等待显式等待隐式等待强制等待定位一组元素切换操作窗口切换表单切换弹窗处理上传 & 下载文件上传文件下载文件Chrome浏览器Fir
python爬虫基础入门
hxh_230810的博客
07-09 2003
比如，请求是浏览器发出来的还是某个软件发出来的还是其他东西发出来的，如果是浏览器发出来的，类型是什么、版本是什么，等等。第一个斜杠的前面的是域名，问号后的是参数，二者中间的就是资源路径，参看上面的例子。/user/info：请求路径，后面可以加上查询参数，用于传给服务器额外的信息，不同信息之间用 & 符号分隔，如。Accept：告诉服务器，客户端想要接收的响应数据是什么类型的，接收多种类型的话可以用逗号进行分隔。在网页右击鼠标，选择“检查”，再点击左上角的“检查单个元素“标志，就可以对单个元素进行检查。
Python网络爬虫入门篇
R5463995的博客
07-15 1243
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析“标签树”等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
python从入门到精通——完整教程【转载】
热门推荐
m0_58523831的博客
10-19 54万+
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-1a85854398.css"> <div id="content_views" class="htmledit_views"> <p>&nbsp;</p> 文章目录 ...
Python 爬虫入门教程
Sanstye_Long的博客
06-22 978
通过这篇教程，我们学习了如何使用 Python 编写一个基本的网络爬虫，抓取和提取网页数据。在实际应用中，你可能会面临更复杂的网页结构和数据提取需求，这时你可以进一步学习和探索 Requests 和 BeautifulSoup 的高级用法,希望本教程对你有所帮助.本教程将带领你学习如何使用 Python 编写一个简单但功能强大的网络爬虫，来抓取和提取网页数据。现在，我们将上述两个步骤结合起来，编写一个完整的网络爬虫程序来抓取指定网页的数据。提取了电影的标题和评分，并打印输出了每部电影的信息。
python爬虫小白入门
Avaricious_Bear的博客
06-07 776
为什么要先说Requests库呢，因为这是个功能很强大的网络请求库，可以实现跟浏览器一样发送各种HTTP请求来获取网站的数据。网络上的模块、库、包指的都是同一种东西，所以后文中可能会在不同地方使用不同称谓，不要迷惑哦。结合一个实例来讲解吧。我的一个设计师小伙伴常去一些设计类网站收集素材，其中有个网站Unsplash里面美图特别多，所以想要把里面的图片都保存下来，这样咱们的小爬虫就登场了。说干就干，赶紧开始吧。先来准备环境。
python网络爬虫从入门到精通吕云翔_Python 网络爬虫从入门到精通
weixin_39921689的博客
11-25 320
《Python 网络爬虫从入门到精通》的主旨是介绍如何结合Python进行网络爬虫程序的开发，从Python语言的基本特性入手，详细介绍了Python网络爬虫开发的各个方面，涉及HTTP、HTML、JavaScript、正则表达式、自然语言处理、数据科学等不同领域的内容。全书共15章，包括Python基础知识、网站分析、网页解析、Python文件读写、Python与数据库、AJAX技术、模拟登录、...
Python入门教程完整版.7z
03-21
视频教程通常以实际操作演示为主，演示如何在Python集成开发环境中（如IDLE或PyCharm）编写代码，运行程序，以及调试错误。这种方式可以帮助学习者直观地看到代码执行的过程，提升理解和实践能力。 标签中提到了...
python教案.rar
02-14
Python是一种广泛应用于...综上所述，这份"python教案.rar"是一份全面的Python教学资料，涵盖了从入门到进阶的各个层面，旨在帮助学生系统地掌握Python编程技能，并通过实例和操作演示加深理解，促进理论与实践的结合。
python学习.zip
03-27
在这个"python学习.zip"压缩包中，你将找到一系列资源来帮助你入门Python编程，特别是对网络爬虫技术的探索。 首先，"pythonѧϰ"可能指的是"Python教程"，这是一个常见的名字，用于存储有关Python基础知识的教学...
Learning Selenium Testing Tools with Python 最新 原版
10-30
- **编写第一个测试脚本**：通过一个简单的例子，本书演示了如何使用Python和Selenium WebDriver来打开网页、查找元素并与其互动。 - **跨浏览器支持设置**：书中详细介绍了如何为不同浏览器（如Internet Explorer、...
Selenium与WebDriver：Errno 8 Exec格式错误的多种解决方案
ip16yun的博客
07-30 324
在使用Selenium和WebDriver进行网页自动化时，可能会遇到各种错误。其中一个常见问题是执行格式错误（Errno 8 Exec format error）。这个错误通常在运行ChromeDriver时出现，错误提示涉及路径中的某个文件。本文将概述这个问题的背景，并提供多种解决方案，包括如何使用代理IP技术进行数据抓取。
Chapter 18 Python异常
2302_80253507的博客
07-28 1304
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。
python字符串数据容器练习（replace,split,count）
最新发布
2301_79600015的博客
07-31 384
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。
loguru日志模块：简化Python自动化测试的日志管理！
07-29 822
日志是软件开发中的关键组成部分，为开发和测试人员提供了调试和监控应用程序的重要手段。loguru 是一个第三方的 Python 日志库，以其简洁的 API 和自动化的功能脱颖而出。本文将探讨为什么项目中需要日志，loguru 为何受到青睐，以及如何封装和在接口自动化测试项目中使用 loguru，同时结合 Allure 生成丰富的测试报告。
python爬虫入门代码
08-23
很高兴能帮到您！以下是我为您整理的Python爬虫入门代码： ```python import requests from bs4 import BeautifulSoup # 发起HTTP请求获取页面内容 url = "https://example.com" response = requests.get(url) html_content = response.text # 使用BeautifulSoup解析页面内容 soup = BeautifulSoup(html_content, "html.parser") # 提取需要的数据 data = soup.find("div", class_="content").text # 打印提取的数据 print(data) ``` 以上代码是一个简单的Python爬虫示例，它使用了requests库发送HTTP请求，然后使用BeautifulSoup库解析HTML页面内容，并从中提取了一个特定的元素的文本内容。您可以根据您的需求修改代码中的URL和提取数据的方式。希望对您有帮助！ <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python爬虫入门教程(非常详细),超级简单的Python爬虫教程](https://blog.csdn.net/CSDN_430422/article/details/129056224)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值