python爬虫之requests and BeautifulSoup

最新推荐文章于 2023-12-21 00:00:00 发布
最新推荐文章于 2023-12-21 00:00:00 发布
阅读量391 收藏 1
点赞数 1
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niuxuerui11/article/details/107957741
版权

1. 爬虫的本质是什么？

模拟浏览器的行为，爬取网页信息

2. requests

**2.1 get请求**

无参数实例
import requests

ret = requests.get("http://github.com/timelime.json")
print(ret.text)

有参数实例
import requests

ret = requests.get("http://httpbin.org/get",params={'key':1})
print(ret.text)

**2.2 post请求**

import requests
import json
  
url = 'https://api.github.com/some/endpoint'
payload = {'v1': 'k1}
headers = {'content-type': 'application/json'}
  
ret = requests.post(url, data=json.dumps(payload), headers=headers)

print ret.text

**2.3 其他请求**

requests.get(url, params=None, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.head(url, **kwargs)
requests.delete(url, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.options(url, **kwargs)
  
# 以上方法均是在此方法的基础上构建
requests.request(method, url, **kwargs) 

**2.4 其他请求**

·method

def param_method_url():
    ret=requests.request(method='get', url='http://127.0.0.1:8000/test/')
    ret=requests.request(method='post', url='http://127.0.0.1:8000/test/')

·params

import requests  

  requests.get(url='http://127.0.0.1:8000/test/',
    params={'k1': 'v1', 'k2': 'v2'})

#他的本质与requests.get(url='xxxxx?k1=v1&k2=v2')

·data

# 可以是字典
    # 可以是字符串
    # 可以是字节
    # 可以是文件对象
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data={'k1': 'v1', 'k2': '水电费'})

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1; k2=v2; k3=v3; k3=v4"
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1;k2=v2;k3=v3;k3=v4",
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data=open('data_file.py', mode='r', encoding='utf-8'), # 文件内容是：k1=v1;k2=v2;k3=v3;k3=v4
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )

·json

#如果请求体是 payload的话则需要传入json格式
requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'})

·cookies

ret1 = requests.get(
    url='https://dig.chouti.com/',
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    }   )
ret1_cookies = ret1.cookies.get_dict()
#获取的ret1.cookies是访问该url返回的cookies对象
#通过get_dict()获取到字典类型的cookies

·headers

# 发送请求头到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'},
                     headers={'Content-Type': 'application/x-www-form-urlencoded'}
                     )
    #具体需要什么请求头要看服务器端

·files

# 发送文件
    # file_dict = {
    # 'f1': open('readme', 'rb')
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', open('readme', 'rb'))
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf")
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    #     'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf", 'application/text', {'k1': '0'})
    # }
    # requests.request(method='POST',
    #                  url='http://127.0.0.1:8000/test/',
    #                  files=file_dict)

    pass

3. BeautifulSoup

该模块可以将接收到的html和xml进行格式化,通过操作对象的方式快速的找到想要的标签

**3.1使用实例**

from bs4 import BeautifulSoup
 
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
    ...
</body>
</html>
"""
 
soup = BeautifulSoup(html_doc, features="lxml")

**3.2 name--->标签名**

# tag = soup.find('a')
# name = tag.name # 获取
# print(name)
# tag.name = 'span' # 设置

**3.3 attr--->标签属性**

# tag = soup.find('a')
# attrs = tag.attrs    # 获取
# print(attrs)
# tag.attrs = {'ik':123} # 设置
# tag.attrs['id'] = 'iiiii' # 设置

4.爬取案例实例学习

4.1汽车之家学习

import  requests
from bs4 import BeautifulSoup
# 这个模块解析html


# 下载页面
ret = requests.get(url='https://www.autohome.com.cn/news/')
# print(ret.apparent_encoding)#爬取编码格式
# print(ret.content)
# ret.encoding = 'gbk'
ret.encoding=ret.apparent_encoding
# print(ret.text)

# 页面解析.获取想要的内容
soup = BeautifulSoup(ret.text,features='html.parser') # 公司用 lxml(需要单独安装)

# find是匹配成功的第一个
div =soup.find(name='div',id='auto-channel-lazyload-article')

#如果有class 匹配的时候:
# *****div = soup.find(name='div',attrs={'class':'dddd','id':'dfa'})*****

li_list=div.find_all(name='li')  # find_all返回的是一个列表 不能够用.find

# print(li_list)

for row in li_list:
    h3=row.find(name='h3')
    if not h3:
        continue

    a=row.find(name='a')
    print(a.get('href'))

    p = row.find(name='p')
    print(p.text)

    li_img= row.find(name='img')
    src= li_img.get('src')

    file_name = src.rsplit('__',maxsplit=1)[1]

    ret_img = requests.get('https:'+src)

    with open(file_name,'wb') as f:
        f.write(ret_img.content)

4.2抽屉实例

import requests
from bs4 import BeautifulSoup

# 第一次访问返回未授权的cookie值
ret1 = requests.get(
    url='https://dig.chouti.com/',
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    })
ret1_cookies = ret1.cookies.get_dict()

# 登录成功之后cookie值已经授权
ret = requests.post(
    url='https://dig.chouti.com/login',
    data={
        'phone':'8613612201458',
        'password':'wo3384451',
        'oneMonth':'1'
    },
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    },
    cookies = ret1_cookies,
)

for num_page in range(2,10):

    ret_index= requests.get(url='https://dig.chouti.com/all/hot/recent/%s'%(num_page),
                            headers={
                                'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
                            },
                            )
    soup = BeautifulSoup(ret_index.text,'html.parser')

    div = soup.find(name='div',id='content-list')

    item_list = div.find_all(attrs={'class':'part2'})

    for item in item_list:
        num = item.get('share-linkid')

    # 此时带着已经授权的cookie值去点赞
        ret3 = requests.post(
            url='https://dig.chouti.com/link/vote?linksId=%s'%(num),
            # data={'linksId':'%s'%(num)},
            headers={
                'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
            },
            cookies = ret1_cookies
        )

        print(ret3.text)

4.3 Github实例

import requests
import re
from bs4 import BeautifulSoup

class Github(object):
    def __init__(self,username=None,passward=None):
        self.username=username
        self.passward=passward
        self.all_cookies={}

        self.process()

    def process(self):
        if not (self.username and self.passward):
            raise Exception('请输入用户名和密码')
        self.get_login_key()

    def get_login_key(self):
        # 获取authenticity_token
        login_result = requests.get(
            url='https://github.com/login',
            headers={
                'Host': 'github.com',
            }
        )
        auth_key =BS4xpath.get_auth_key(login_result.text)
        self.all_cookies = login_result.cookies.get_dict()
        self.login(auth_key)

    def login(self,auth_key):
        # 登录获取已经登录的cookies
        login_result = requests.post(
            url='https://github.com/session',
            headers={
                'Upgrade-Insecure-Requests': '1',
                'Host': 'github.com',
            },
            data={
                'utf8': '✓',
                'authenticity_token':auth_key,
                'login': self.username,
                'password': self.passward,
                'commit': 'Sign in'
            },
            cookies=self.all_cookies
        )
        self.all_cookies.update(login_result.cookies.get_dict())
        if self.all_cookies['logged_in']=='no':
            raise Exception('用户名或密码错误')
    def get_msg(self):
        msg_obj = requests.get(
            url='https://github.com/settings/profile',
            headers={
                'Host': 'github.com',
                'Referer': 'https://github.com/',
            },
            cookies=self.all_cookies
        )
        msg=BS4xpath.get_msg_dict(msg_obj.text)

        return msg


class BS4xpath(object):

    @classmethod
    def get_auth_key(self,text):
        soup = BeautifulSoup(text,'html.parser')
        auth_key=soup.find(name='input', attrs={'name': 'authenticity_token'}).get('value')
        return auth_key

    @classmethod
    def get_msg_dict(self,text):
        response = {}
        ret2_data = BeautifulSoup(text,'html.parser')
        div = ret2_data.find(name='div', attrs={'class': "column two-thirds"})
        dl_list = div.find_all(name='dl', attrs={'class': "form-group"})
        for row in dl_list:
            rowname = row.find('label').text
            dd_input = row.find('input')
            if dd_input:
                response[rowname] = dd_input.get('value')
        return response



obj = Github(username='a3384451',passward='wo3384451')

ret = obj.get_msg()
print(ret)

4.4 拉勾网学习

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import re
import requests

all_cookie = {}

# ############### 1. 查看登录页面 ###############
r1 = requests.get(
    url='https://passport.lagou.com/login/login.html',
    headers={
        'Host': 'passport.lagou.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
    }
)

all_cookie.update(r1.cookies.get_dict())

X_Anti_Forge_Token = re.findall(r"window.X_Anti_Forge_Token = '(.*?)'", r1.text, re.S)[0]
X_Anti_Forge_Code = re.findall(r"window.X_Anti_Forge_Code = '(.*?)'", r1.text, re.S)[0]

# ############### 2. 用户名密码登录 ###############
r2 = requests.post(
    url='https://passport.lagou.com/login/login.json',
    headers={
        'Host': 'passport.lagou.com',
        'Referer': 'https://passport.lagou.com/login/login.html',
        'X-Anit-Forge-Code': X_Anti_Forge_Code,
        'X-Anit-Forge-Token': X_Anti_Forge_Token,
        'X-Requested-With': 'XMLHttpRequest',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    },
    data={
        'isValidate': True,
        'username': '15131255089',
        'password': 'ab18d270d7126ea65915cc22c0d',
        'request_form_verifyCode': '',
        'submit': '',

    },
    cookies=r1.cookies.get_dict()
)

all_cookie.update(r2.cookies.get_dict())

# ############### 3. 用户授权 ###############
r3 = requests.get(
    url='https://passport.lagou.com/grantServiceTicket/grant.html',
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

    },
    allow_redirects=False,
    cookies=all_cookie

)

all_cookie.update(r3.cookies.get_dict())

# ############### 4. 用户认证 ###############
r4 = requests.get(
    url=r3.headers['Location'],
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

    },
    allow_redirects=False,
    cookies=all_cookie
)

all_cookie.update(r4.cookies.get_dict())

r5 = requests.get(
    url=r4.headers['Location'],
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

    },
    allow_redirects=False,
    cookies=all_cookie
)
all_cookie.update(r5.cookies.get_dict())
r6 = requests.get(
    url=r5.headers['Location'],
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

    },
    allow_redirects=False,
    cookies=all_cookie
)

all_cookie.update(r6.cookies.get_dict())
r7 = requests.get(
    url=r6.headers['Location'],
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

    },
    allow_redirects=False,
    cookies=all_cookie
)

all_cookie.update(r7.cookies.get_dict())

# ############### 5. 查看个人页面 ###############
r5 = requests.get(
    url='https://www.lagou.com/resume/myresume.html',
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

    },
    cookies=all_cookie
)
print('武沛齐' in r5.text)

# ############### 6. 查看 ###############
r6 = requests.get(
    url='https://gate.lagou.com/v1/neirong/account/users/0/',
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
        'X-L-REQ-HEADER': "{deviceType:1}",
        'Origin': 'https://account.lagou.com',
        'Host': 'gate.lagou.com',
    },
    cookies=all_cookie

)
r6_json = r6.json()
all_cookie.update(r6.cookies.get_dict())

# ############### 7. 修改个人信息 ###############
r7 = requests.put(
    url='https://gate.lagou.com/v1/neirong/account/users/0/',
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
        'Origin': 'https://account.lagou.com',
        'Host': 'gate.lagou.com',
        'X-Anit-Forge-Code': r6_json['submitCode'],
        'X-Anit-Forge-Token': r6_json['submitToken'],
        'X-L-REQ-HEADER': "{deviceType:1}",
    },
    cookies=all_cookie,
    json={"userName": "wupeiqi888", "sex": "MALE", "portrait": "images/myresume/default_headpic.png",
          "positionName": '...', "introduce": '....'}
)
print(r7.text)

总结

1.如果爬取的网站有反爬措施,请求里模仿浏览器发给服务器端
2.如果需要需要携带信息过去的

  1. 去服务器返回的内容里找.如果有将他格式化成字典或其他保存在session
  2. 看到159900098这样格式的一般都是时间戳,但是位数需要自己 观察
  3. 如果服务器返回的内容里没有key,那么去html或者js找相应的数据
  4. 可能下一次的操作需要携带着上一次服务器发过来的key或其他

3.状态码:

  1. 3开头的状态码是自动跳转.在自动跳转的时候可能进行cookies认证
  2. 注意Response request 里的set-cookies参数
浪子私房菜
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python网络爬虫笔记（四）——requests与BeautifulSoup
xuanhuangwendao的博客
01-20 1230
requests和BeautifulSoup的基本用法
python爬虫实例 requests+beautifulsoup4解析 HTML 页面一个简单的网页上抓取标题和链接
最新发布
09-07
python爬虫实例 requests+beautifulsoup4解析 HTML 页面一个简单的网页上抓取标题和链接 Python 爬虫是一种自动化程序，用于从网站上抓取数据。这里我将提供一个简单的 Python 爬虫实例，使用 requests 库来发送 ...
python实现requests+BeautifulSoup网络爬虫
不想打代码了的博客
03-09 241
BeautifulSoup参数 解析器 使用方法 优势 劣势 python标准库 BeautifulSoup(markup,“html.parser”) python内置标准库执行速度适中文档纠错能力强 python2.7.3以前的版本容错能力差 lxmlHTML解析器 BeautifulSoup(markup,“lxml”) 速度快文档纠错能力强 需要安装C语言库 lxmlxml解析器 BeautifulSoup(markup,[“lxml”,“xml”]) 速度快唯一的支持解析的
Python---Requests、BeautifulSoup
一个有深度的博客
10-04 235
一、requests库的详解： request参数： requests.request( method, # 请求方式 get post put等 url, # 访问地址 params, # 在url上传递的参数,以字典的形式{"date":"today"}传参,get方式会用到(xxx.com/news?date=today) data, ...
Python爬虫入门之requests 和 BeautifulSoup
lhaniey的博客
07-27 331
（1）在window系统下，安装了anaconda 适合python 3 的 软件，在命令行中利用pip insatll jupyter notebook ，安装了jupyter notebook； （2）使用Chrome浏览器开发工具获取源代码； （3）所有编写程序均在anaconda下的jupyter notebook或者Spyder 中运行； """ 代码一 安装 requests,...
python爬虫系列（2）—— requests和BeautifulSoup
a315612852的博客
10-31 327
本文主要介绍python爬虫的两大利器：requests和BeautifulSoup库的基本用法。 1. 安装requests和BeautifulSoup库 可以通过3种方式安装： easy_install pip 下载源码手动安装 这里只介绍pip安装方式： pipinstallrequests pipinstallBeautifulSoup4 ...
python爬虫代码（requests、BeautifulSoup）.docx
02-02
Python爬虫是获取网络数据的一种常见方法，它可以帮助我们自动化地从网页中抓取大量信息。在本例中，我们探讨了两种使用Python进行网络爬取的常见技术：基于`requests`库和`lxml/etree`的XPath表达式，以及结合`...
Python爬虫实战（Requests+BeautifulSoup版）
06-14
本课程是一个Python爬虫实战课程，课程主要使用Requests+BeautifulSoup实现爬虫，课程包括五个部分： 第一部分：CSS选择器，主要讲解类选择器，ID选择器，标签选择器，伪类和伪元素，以及组合选择器等。 第二部分：...
基于python3+requests+BeautifulSoup4的知乎内容爬虫源码.zip
02-21
基于python3+requests+BeautifulSoup4的知乎内容爬虫源码.zip 1.爬取内容：问题ID、问题标题、问题提出时间、问题来自的子话题 2.爬取内容：问题ID、标题、内容、标签、提问者、所有回答（回答人、回答内容、回答...
利用Python爬虫requests+BeautifulSoup实现丁香营销师招聘爬取（源码）
11-26
提供的源码文件“利用Python爬虫requests+BeautifulSoup实现丁香营销师招聘爬取（源码）”应该包含了完整的实现细节，通过阅读和理解这个源码，你可以更好地学习如何结合requests和BeautifulSoup进行爬虫开发。...
python爬虫 常用套路（requests+BeautifulSoup）
大爽老师的博客
12-31 356
一般来讲，简单的爬虫，主要是做两件事 1 - 获取网页内容 2 - 分析网页内容 对于python而言，常常使用requests库去做1（获取网页内容 ）， 使用BeautifulSoup库或者re库做2（分析网页内容） 一、获取网页内容 （使用requests） 对于简单的网页，不需要登录的那种，获取起来很简单 代码如下 import requests def get_url_html(url): r = requests.get(url) r.raise_for_statu.
Python爬虫基础——requests、BeautifulSoup
谁谓荼苦，其甘如荠
01-07 534
最近由于工作需要，所以学习了一些爬虫小知识。之前一直觉得爬虫是黑科技，里面的弯弯绕绕多得很，各种反爬技术和更高的爬虫手段层出不穷，要学习是个难事。后来发现其实并不难，对于没有刻意的反爬技术的网站而言，基本就是以下两个Python库的使用—— requests BeautifulSoup 首先，当然是安装这两个包了。安装后，一个最简单的爬虫流程，就是，先向URL发出GET请求：（假设我们爬取某医...
python requests soup_Python爬虫之BeautifulSoup和requests
weixin_39776991的博客
12-10 108
用Python实现爬虫的包有很多，可以结合使用，但是目前个人觉得BeautifulSoup至少在看上去会更方便和美观一些。这里只涉及静态网页的爬取，暂不支持cookie、session等。Python实现微博热搜榜的爬取1.requests库：比urllib2模块更简洁，request支持http连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的U...
关于Python爬虫的requests和BeautifulSoup的简单用法
dooooooor的博客
11-15 475
对requests和BeautifulSoup两个库使用方法的初步归纳
python爬虫基础入门——利用requests和BeautifulSoup
爱编程的鱼的博客
12-21 941
（本文是自己学习爬虫的一点笔记和感悟）经过python的初步学习，对字符串、列表、字典、元祖、条件语句、循环语句……等概念应该已经有了整体印象，终于可以着手做一些小练习来巩固知识点，写爬虫练习再适合不过。
Python爬虫入门:使用requests库,beautifulsoup库简单爬虫.爬取网站内容,爬取网站链接.
weixin_66146598的博客
07-20 2628
Python爬虫入门,requests库使用,beautifulsoup库使用,简单爬虫例子,简单爬虫代码,爬取网站首页内容
Python下基于requests及BeautifulSoup构建网络爬虫
qy20115549的博客
09-27 1856
功能说明在Python下面可使用requests模块请求某个url获取响应的html文件，接着使用BeautifulSoup解析某个html。案例假设我要http://maoyan.com/board/4猫眼电影的top100电影的相关信息，如下截图： 获取电影的标题及url。安装requests和BeautifulSoup使用pip工具安装这两个工具。pip install requestspi
Python爬虫神器简单介绍与使用（requests、Beautiful Soup、selenium等）
zkkkkkkkkkkkkk的博客
04-13 1397
一、requests 1.1、介绍 requests这个库相信大家都有所耳闻，requests自称 "让HTTP服务于人类" 。因为requests中的接口简介方便，所以目前已经是爬虫玩家最爱的工具了（至少是博主的最爱）。 官方文档：Requests: 让 HTTP 服务人类 — Requests 2.18.1 文档 1.2、requests案例 以手机标识user-agent打开网页
python 爬虫 requests 和 BeautifulSoup 基本用法（看完就会）
qq_70756940的博客
06-08 324
requests 和 BeautifulSoup的基本使用理解
Python简易爬虫：requests与BeautifulSoup实现
Python爬虫是一种自动化技术，用于抓取、解析并提取网络上的数据。本文主要介绍了两种常见的Python爬虫实现方法，针对的是网页数据的获取和下载。 首先，我们来看第一种方法，它利用了Python的requests库。requests...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浪子私房菜

给小强一点爱心呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值