python爬虫入门之requests

最新推荐文章于 2023-02-17 21:48:18 发布
最新推荐文章于 2023-02-17 21:48:18 发布
阅读量369 收藏 1
点赞数 1
文章标签： python爬虫入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40230682/article/details/82431844
版权

入门例子：

    需求：爬取汽车之家新闻

 

代码：

    需要安装模块：

     shell> pip install requests

    shell> pip install beautifulsoup4

import requests
from bs4 import  BeautifulSoup
import uuid

#使用requsets.get下载html源码
response = requests.get(url = 'https://www.autohome.com.cn/news/')
#更改其编码格式,源码使用什么编码格式，就自动为对应的编码格式
response.encoding = response.apparent_encoding
#使用BeautifulSoup创建其对象
soup = BeautifulSoup(response.text, features='html.parser')
#使用find找整个源码中id=xxx的div
div_list = soup.find(id='auto-channel-lazyload-article')
#使用find_all找上面div中的li标签，如果使用find只会寻找到第一个li标签
li_list = div_list.find_all('li')

#由于find_all取出的值为列表，且不为对象，所以循环
for i in li_list:
    #找其中的A标签
    a_list = i.find('a')
    #判断其中的a标签是否有值
    if a_list:
        #获取a标签的href链接
        a_link ='http:' + a_list.attrs.get('href')
        print(a_link)
        #找a标签下面的h3标签内容
        h3_text = a_list.find('h3').text
        print(h3_text)
        # 找a标签中的img标签，获取其中的图片链接
        img_list = a_list.find('img')
        img_link = 'http:' + img_list.attrs.get('src')
        # print(img_link)
        #再次图片发送请求
        img_response = requests.get(url=img_link)

        #组织图片名称，注意UUID需要转换成str才能进行拼接
        file_name = str(uuid.uuid4()) + '.jpg'
        #存储图片
        with open(file_name,'wb') as f:
            f.write(img_response.content)

        # 找a标签中的p标签，即新闻简介
        p_text = a_list.find('p').text
        print(p_text)    

  运行结果：

 

 

 

入门例子2：

     需求1： 自动登录抽屉网页

    需求2： 为某篇文章进行点赞

讲解： 当使用chrom访问抽屉时，点击“登录”，发现请求URL更改为‘https://dig.chouti.com/login’，以POST请求发送，且数据分别以phone、password、oneMonth传送，分别代表手机号、密码、一个月自动登录

 

自动登录代码：

import  requests

#整理提交的数据
post_dict = {
    'phone': 'XXXXXX',
    'password': 'XXXXXXX',
    'oneMonth': 1,
}
#加入headers
header = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

#post方式发送登录信息，将第一次的cookies信息传，让其激活
r2 = requests.post(
    url="https://dig.chouti.com/login",
    data=post_dict,
    headers=header,
)
print(r2.text)

’运行结果：

    正确登录结果：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_53613419358"}}}

    错误登录结果：{"result":{"code":"8887", "message":"手机号格式不对", "data":""}}

 

自动登录及文章点赞代码：

 

import  requests

#整理提交的数据
post_dict = {
    'phone': '86xxxx',
    'password': 'xxxxx',
    'oneMonth': 1,
}
#加入headers
header = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

#通过requests.get发送get请求，获取第一次cookies信息
r1 = requests.get('http://dig.chouti.com/',headers=header,)
r1_cookies = r1.cookies.get_dict()

#post方式发送登录信息，将第一次的cookies信息传，让其激活
r2 = requests.post(
    url="https://dig.chouti.com/login",
    data=post_dict,
    headers=header,
    cookies=r1_cookies,
)

#点赞功能，使用第一次get的cookies信息，cookies的gpsd信息
r3 = requests.post(
    url='https://dig.chouti.com/link/vote?linksId=21901416',
    headers=header,
    cookies={'gpsd': r1_cookies.get('gpsd')}
)

#点赞成功返回信息
print(r3.text)

运行结果：{"result":{"code":"30010", "message":"你已经推荐过了", "data":""}}

即已经实现自动登录及点赞功能

 

Requests详解：

   无参数GET请求：

import requests

ret = requests.get(url='http://www.baidu.com')
print(ret.text)

    有参数GET请求： 

import requests

values= {'k1': 'v1', 'k2': 'v2'}
ret = requests.get(rul="http://httpbin.org/get", params=values)

#实现的效果为：http://httpbin.org/get?k1=v1&k2=v2

     POST请求：

import requests
  
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post(url="http://httpbin.org/post", data=payload)

     其他请求：

1

2

3

4

5

6

7

8

9

10

requests.get(url, params=None, **kwargs)

requests.post(url, data=None, json=None, **kwargs)

requests.put(url, data=None, **kwargs)

requests.head(url, **kwargs)

requests.delete(url, **kwargs)

requests.patch(url, data=None, **kwargs)

requests.options(url, **kwargs)

  

# 以上方法均是在此方法的基础上构建

requests.request(method, url, **kwargs)

  更多参数：

def request(method, url, **kwargs):
    """Constructs and sends a :class:`Request <Request>`.

    :param method: method for the new :class:`Request` object.
    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary or bytes to be sent in the query string for the :class:`Request`.
    :param data: (optional) Dictionary, bytes, or file-like object to send in the body of the :class:`Request`.
    :param json: (optional) json data to send in the body of the :class:`Request`.
    :param headers: (optional) Dictionary of HTTP Headers to send with the :class:`Request`.
    :param cookies: (optional) Dict or CookieJar object to send with the :class:`Request`.
    :param files: (optional) Dictionary of ``'name': file-like-objects`` (or ``{'name': file-tuple}``) for multipart encoding upload.
        ``file-tuple`` can be a 2-tuple ``('filename', fileobj)``, 3-tuple ``('filename', fileobj, 'content_type')``
        or a 4-tuple ``('filename', fileobj, 'content_type', custom_headers)``, where ``'content-type'`` is a string
        defining the content type of the given file and ``custom_headers`` a dict-like object containing additional headers
        to add for the file.
    :param auth: (optional) Auth tuple to enable Basic/Digest/Custom HTTP Auth.
    :param timeout: (optional) How long to wait for the server to send data
        before giving up, as a float, or a :ref:`(connect timeout, read
        timeout) <timeouts>` tuple.
    :type timeout: float or tuple
    :param allow_redirects: (optional) Boolean. Set to True if POST/PUT/DELETE redirect following is allowed.
    :type allow_redirects: bool
    :param proxies: (optional) Dictionary mapping protocol to the URL of the proxy.
    :param verify: (optional) whether the SSL cert will be verified. A CA_BUNDLE path can also be provided. Defaults to ``True``.
    :param stream: (optional) if ``False``, the response content will be immediately downloaded.
    :param cert: (optional) if String, path to ssl client cert file (.pem). If Tuple, ('cert', 'key') pair.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response

    Usage::

      >>> import requests
      >>> req = requests.request('GET', 'http://httpbin.org/get')
      <Response [200]>
    """

     参数讲解：

 method：请求方式，可以指定POST、GET、PUT等；

 url：  请求路径；

 params：在URL中传递的参数,GET ；

 data：提交的数据，可以是字典、字符串、字节、文件对象；

json：提交的数据，与data的区别在于，若提交的数据为字典，且字典中还包含字典时，使用json；

headers：提交请求头数据；

cookies：提交cookies；

import requests

#加入headers请求头
header = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

#通过requests.get发送get请求，获取第一次cookies信息
r1 = requests.get('http://dig.chouti.com/',headers=header,)
r1_cookies = r1.cookies.get_dict()

#post方式发送登录信息，将第一次的cookies信息传，让其激活
r2 = requests.request(
    method='post',
    url="https://dig.chouti.com/login",
    data=post_dict,
    headers=header,
    cookies=r1_cookies,
)

   files：上传文件
             
              aut：基本认知(headers中加入加密的用户名和密码)
             
             timeout ：请求和响应的超市时间
             
             allow_redirects ： 是否允许重定向
             
             proxies：代理
             
             verify：是否忽略证书
             
             cert ：证书文件
             
             stream：部分性取数据

 

参数示例：

               转载武沛齐老师示例：

def param_method_url():
    # requests.request(method='get', url='http://127.0.0.1:8000/test/')
    # requests.request(method='post', url='http://127.0.0.1:8000/test/')
    pass


def param_param():
    # - 可以是字典
    # - 可以是字符串
    # - 可以是字节（ascii编码以内）

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params={'k1': 'v1', 'k2': '水电费'})

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params="k1=v1&k2=水电费&k3=v3&k3=vv3")

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=k2&k3=v3&k3=vv3", encoding='utf8'))

    # 错误
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=水电费&k3=v3&k3=vv3", encoding='utf8'))
    pass


def param_data():
    # 可以是字典
    # 可以是字符串
    # 可以是字节
    # 可以是文件对象

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data={'k1': 'v1', 'k2': '水电费'})

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1; k2=v2; k3=v3; k3=v4"
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1;k2=v2;k3=v3;k3=v4",
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data=open('data_file.py', mode='r', encoding='utf-8'), # 文件内容是：k1=v1;k2=v2;k3=v3;k3=v4
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )
    pass


def param_json():
    # 将json中对应的数据进行序列化成一个字符串，json.dumps(...)
    # 然后发送到服务器端的body中，并且Content-Type是 {'Content-Type': 'application/json'}
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'})


def param_headers():
    # 发送请求头到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'},
                     headers={'Content-Type': 'application/x-www-form-urlencoded'}
                     )


def param_cookies():
    # 发送Cookie到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies={'cook1': 'value1'},
                     )
    # 也可以使用CookieJar（字典形式就是在此基础上封装）
    from http.cookiejar import CookieJar
    from http.cookiejar import Cookie

    obj = CookieJar()
    obj.set_cookie(Cookie(version=0, name='c1', value='v1', port=None, domain='', path='/', secure=False, expires=None,
                          discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False,
                          port_specified=False, domain_specified=False, domain_initial_dot=False, path_specified=False)
                   )
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies=obj)


def param_files():
    # 发送文件
    # file_dict = {
    # 'f1': open('readme', 'rb')
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', open('readme', 'rb'))
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf")
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    #     'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf", 'application/text', {'k1': '0'})
    # }
    # requests.request(method='POST',
    #                  url='http://127.0.0.1:8000/test/',
    #                  files=file_dict)

    pass


def param_auth():
    from requests.auth import HTTPBasicAuth, HTTPDigestAuth

    ret = requests.get('https://api.github.com/user', auth=HTTPBasicAuth('wupeiqi', 'sdfasdfasdf'))
    print(ret.text)

    # ret = requests.get('http://192.168.1.1',
    # auth=HTTPBasicAuth('admin', 'admin'))
    # ret.encoding = 'gbk'
    # print(ret.text)

    # ret = requests.get('http://httpbin.org/digest-auth/auth/user/pass', auth=HTTPDigestAuth('user', 'pass'))
    # print(ret)
    #


def param_timeout():
    # ret = requests.get('http://google.com/', timeout=1)
    # print(ret)

    # ret = requests.get('http://google.com/', timeout=(5, 1))
    # print(ret)
    pass


def param_allow_redirects():
    ret = requests.get('http://127.0.0.1:8000/test/', allow_redirects=False)
    print(ret.text)


def param_proxies():
    # proxies = {
    # "http": "61.172.249.96:80",
    # "https": "http://61.185.219.126:3128",
    # }

    # proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

    # ret = requests.get("http://www.proxy360.cn/Proxy", proxies=proxies)
    # print(ret.headers)


    # from requests.auth import HTTPProxyAuth
    #
    # proxyDict = {
    # 'http': '77.75.105.165',
    # 'https': '77.75.105.165'
    # }
    # auth = HTTPProxyAuth('username', 'mypassword')
    #
    # r = requests.get("http://www.google.com", proxies=proxyDict, auth=auth)
    # print(r.text)

    pass


def param_stream():
    ret = requests.get('http://127.0.0.1:8000/test/', stream=True)
    print(ret.content)
    ret.close()

    # from contextlib import closing
    # with closing(requests.get('http://httpbin.org/get', stream=True)) as r:
    # # 在此处理响应。
    # for i in r.iter_content():
    # print(i)


def requests_session():
    import requests

    session = requests.Session()

    ### 1、首先登陆任何页面，获取cookie

    i1 = session.get(url="http://dig.chouti.com/help/service")

    ### 2、用户登陆，携带上一次的cookie，后台对cookie中的 gpsd 进行授权
    i2 = session.post(
        url="http://dig.chouti.com/login",
        data={
            'phone': "8615131255089",
            'password': "xxxxxx",
            'oneMonth': ""
        }
    )

    i3 = session.post(
        url="http://dig.chouti.com/link/vote?linksId=8589623",
    )
    print(i3.text)

requests返回详解：

 text：下载的html源码，或返回的数据；

content： 字节形式返回的数据，如图片、视频等；

encoding：编码格式；

aparent_encoding：源码的编码格式；

status_code：状态码；

cookies.get_dict()： 获取cookies属性

 

BeautifulSoup详解：

BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。

安装：pip install beautifulsoup4

创建对象，传递html或xml，使用features指定其‘解码方式’，默认使用html.parser， 也可以使用lxml，但需要手动安装lxml

from bs4 import  BeautifulSoup

soup = BeautifulSoup(response.text, features='html.parser')

  beautifulsoup对象方法：

 ind: 查找第一个所匹配上的值，返回为对象，find中可以使用id,nid（自定义属性），class等；

 find_all：查找所以匹配上的值，返回为列表，若需要使用对象需先进行循环遍历；

 attrs： 标签对象中的属性，例如href\src等

string：标签内容，attrs中get方法可取出内容，但无法设置新值

name:获取标签名称

children：所有子标签

clear：将标签的所有子标签全部清空（保留标签名）

decompose：递归的删除所有的标签

decode：转换为字符串（含当前标签）

decode_contents：转换为字符串（不含当前标签）

encode：转换为字节（含当前标签）

has_attr：检查标签是否具有该属性

 get_text：获取标签内部文本内容

 index：检查标签在某标签中的索引位置

is_empty_element：是否是空标签(是否可以是空)或者自闭合标签，判断是否是如下标签：'br' , 'hr', 'input', 'img', 

select：选择器；

append:在当前标签内部追加一个标签

#参考爬取汽车之家代码;
#使用BeautifulSoup创建其对象
soup = BeautifulSoup(response.text, features='html.parser')
#使用find找整个源码中id=xxx的div
div_list = soup.find(id='auto-channel-lazyload-article')
#使用find_all找上面div中的li标签，如果使用find只会寻找到第一个li标签
li_list = div_list.find_all('li')

#由于find_all取出的值为列表，且不为对象，所以循环
for i in li_list:
    #找其中的A标签
    a_list = i.find('a')
    #判断其中的a标签是否有值
    if a_list:
        #获取a标签的href链接
        a_link ='http:' + a_list.attrs.get('href')
        print(a_link)
        #找a标签下面的h3标签内容
        h3_text = a_list.find('h3').text
        print(h3_text)
        # 找a标签中的img标签，获取其中的图片链接
        img_list = a_list.find('img')
        img_link = 'http:' + img_list.attrs.get('src')
        # print(img_link)
        #再次图片发送请求
        img_response = requests.get(url=img_link)

        #组织图片名称，注意UUID需要转换成str才能进行拼接
        file_name = str(uuid.uuid4()) + '.jpg'
        #存储图片
        with open(file_name,'wb') as f:
            f.write(img_response.content)

        # 找a标签中的p标签，即新闻简介
        p_text = a_list.find('p').text
        print(p_text)

   更多使用案例：

          转载武沛齐老师示例：

使用示例：

1

2

3

4

5

6

7

8

9

10

11

from bs4 import BeautifulSoup

 

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

    ...

</body>

</html>

"""

 

soup = BeautifulSoup(html_doc, features="lxml")

1. name，标签名称

1

2

3

4

5

# tag = soup.find('a')

# name = tag.name # 获取

# print(name)

# tag.name = 'span' # 设置

# print(soup)

2. attr，标签属性

1

2

3

4

5

6

# tag = soup.find('a')

# attrs = tag.attrs    # 获取

# print(attrs)

# tag.attrs = {'ik':123} # 设置

# tag.attrs['id'] = 'iiiii' # 设置

# print(soup)

3. children,所有子标签

1

2

# body = soup.find('body')

# v = body.children

4. children,所有子子孙孙标签

1

2

# body = soup.find('body')

# v = body.descendants

5. clear,将标签的所有子标签全部清空（保留标签名）

1

2

3

# tag = soup.find('body')

# tag.clear()

# print(soup)

6. decompose,递归的删除所有的标签

1

2

3

# body = soup.find('body')

# body.decompose()

# print(soup)

7. extract,递归的删除所有的标签，并获取删除的标签

1

2

3

# body = soup.find('body')

# v = body.extract()

# print(soup)

8. decode,转换为字符串（含当前标签）；decode_contents（不含当前标签）

1

2

3

4

# body = soup.find('body')

# v = body.decode()

# v = body.decode_contents()

# print(v)

9. encode,转换为字节（含当前标签）；encode_contents（不含当前标签）

1

2

3

4

# body = soup.find('body')

# v = body.encode()

# v = body.encode_contents()

# print(v)

10. find,获取匹配的第一个标签

1

2

3

4

5

# tag = soup.find('a')

# print(tag)

# tag = soup.find(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')

# tag = soup.find(name='a', class_='sister', recursive=True, text='Lacie')

# print(tag)

11. find_all,获取匹配的所有标签

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

# tags = soup.find_all('a')

# print(tags)

 

# tags = soup.find_all('a',limit=1)

# print(tags)

 

# tags = soup.find_all(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')

# # tags = soup.find(name='a', class_='sister', recursive=True, text='Lacie')

# print(tags)

 

 

# ####### 列表 #######

# v = soup.find_all(name=['a','div'])

# print(v)

 

# v = soup.find_all(class_=['sister0', 'sister'])

# print(v)

 

# v = soup.find_all(text=['Tillie'])

# print(v, type(v[0]))

 

 

# v = soup.find_all(id=['link1','link2'])

# print(v)

 

# v = soup.find_all(href=['link1','link2'])

# print(v)

 

# ####### 正则 #######

import re

# rep = re.compile('p')

# rep = re.compile('^p')

# v = soup.find_all(name=rep)

# print(v)

 

# rep = re.compile('sister.*')

# v = soup.find_all(class_=rep)

# print(v)

 

# rep = re.compile('http://www.oldboy.com/static/.*')

# v = soup.find_all(href=rep)

# print(v)

 

# ####### 方法筛选 #######

# def func(tag):

# return tag.has_attr('class') and tag.has_attr('id')

# v = soup.find_all(name=func)

# print(v)

 

 

# ## get,获取标签属性

# tag = soup.find('a')

# v = tag.get('id')

# print(v)

12. has_attr,检查标签是否具有该属性

1

2

3

# tag = soup.find('a')

# v = tag.has_attr('id')

# print(v)

13. get_text,获取标签内部文本内容

1

2

3

# tag = soup.find('a')

# v = tag.get_text('id')

# print(v)

14. index,检查标签在某标签中的索引位置

1

2

3

4

5

6

7

# tag = soup.find('body')

# v = tag.index(tag.find('div'))

# print(v)

 

# tag = soup.find('body')

# for i,v in enumerate(tag):

# print(i,v)

15. is_empty_element,是否是空标签(是否可以是空)或者自闭合标签，

     判断是否是如下标签：'br' , 'hr', 'input', 'img', 'meta','spacer', 'link', 'frame', 'base'

1

2

3

# tag = soup.find('br')

# v = tag.is_empty_element

# print(v)

16. 当前的关联标签

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

# soup.next

# soup.next_element

# soup.next_elements

# soup.next_sibling

# soup.next_siblings

 

#

# tag.previous

# tag.previous_element

# tag.previous_elements

# tag.previous_sibling

# tag.previous_siblings

 

#

# tag.parent

# tag.parents

17. 查找某标签的关联标签

1

2

3

4

5

6

7

8

9

10

11

12

13

14

# tag.find_next(...)

# tag.find_all_next(...)

# tag.find_next_sibling(...)

# tag.find_next_siblings(...)

 

# tag.find_previous(...)

# tag.find_all_previous(...)

# tag.find_previous_sibling(...)

# tag.find_previous_siblings(...)

 

# tag.find_parent(...)

# tag.find_parents(...)

 

# 参数同find_all

18. select,select_one, CSS选择器

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

soup.select("title")

 

soup.select("p nth-of-type(3)")

 

soup.select("body a")

 

soup.select("html head title")

 

tag = soup.select("span,a")

 

soup.select("head > title")

 

soup.select("p > a")

 

soup.select("p > a:nth-of-type(2)")

 

soup.select("p > #link1")

 

soup.select("body > a")

 

soup.select("#link1 ~ .sister")

 

soup.select("#link1 + .sister")

 

soup.select(".sister")

 

soup.select("[class~=sister]")

 

soup.select("#link1")

 

soup.select("a#link2")

 

soup.select('a[href]')

 

soup.select('a[href="http://example.com/elsie"]')

 

soup.select('a[href^="http://example.com/"]')

 

soup.select('a[href$="tillie"]')

 

soup.select('a[href*=".com/el"]')

 

 

from bs4.element import Tag

 

def default_candidate_generator(tag):

    for child in tag.descendants:

        if not isinstance(child, Tag):

            continue

        if not child.has_attr('href'):

            continue

        yield child

 

tags = soup.find('body').select("a", _candidate_generator=default_candidate_generator)

print(type(tags), tags)

 

from bs4.element import Tag

def default_candidate_generator(tag):

    for child in tag.descendants:

        if not isinstance(child, Tag):

            continue

        if not child.has_attr('href'):

            continue

        yield child

 

tags = soup.find('body').select("a", _candidate_generator=default_candidate_generator, limit=1)

print(type(tags), tags)

19. 标签的内容

1

2

3

4

5

6

7

8

9

10

11

12

13

# tag = soup.find('span')

# print(tag.string)          # 获取

# tag.string = 'new content' # 设置

# print(soup)

 

# tag = soup.find('body')

# print(tag.string)

# tag.string = 'xxx'

# print(soup)

 

# tag = soup.find('body')

# v = tag.stripped_strings  # 递归内部获取所有标签的文本

# print(v)

20.append在当前标签内部追加一个标签

1

2

3

4

5

6

7

8

9

10

# tag = soup.find('body')

# tag.append(soup.find('a'))

# print(soup)

#

# from bs4.element import Tag

# obj = Tag(name='i',attrs={'id': 'it'})

# obj.string = '我是一个新来的'

# tag = soup.find('body')

# tag.append(obj)

# print(soup)

21.insert在当前标签内部指定位置插入一个标签

1

2

3

4

5

6

# from bs4.element import Tag

# obj = Tag(name='i', attrs={'id': 'it'})

# obj.string = '我是一个新来的'

# tag = soup.find('body')

# tag.insert(2, obj)

# print(soup)

22. insert_after,insert_before 在当前标签后面或前面插入

1

2

3

4

5

6

7

# from bs4.element import Tag

# obj = Tag(name='i', attrs={'id': 'it'})

# obj.string = '我是一个新来的'

# tag = soup.find('body')

# # tag.insert_before(obj)

# tag.insert_after(obj)

# print(soup)

23. replace_with 在当前标签替换为指定标签

1

2

3

4

5

6

# from bs4.element import Tag

# obj = Tag(name='i', attrs={'id': 'it'})

# obj.string = '我是一个新来的'

# tag = soup.find('div')

# tag.replace_with(obj)

# print(soup)

24. 创建标签之间的关系

1

2

3

4

# tag = soup.find('div')

# a = soup.find('a')

# tag.setup(previous_sibling=a)

# print(tag.previous_sibling)

25. wrap，将指定标签把当前标签包裹起来

1

2

3

4

5

6

7

8

9

10

11

# from bs4.element import Tag

# obj1 = Tag(name='div', attrs={'id': 'it'})

# obj1.string = '我是一个新来的'

#

# tag = soup.find('a')

# v = tag.wrap(obj1)

# print(soup)

 

# tag = soup.find('a')

# v = tag.wrap(soup.find('p'))

# print(soup)

26. unwrap，去掉当前标签，将保留其包裹的标签

1

2

3

# tag = soup.find('a')

# v = tag.unwrap()

# print(soup)

 

菜鸟入行
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬取div中段落_使用Python进行网页爬取-选择div,h2和h3类
weixin_39958248的博客
12-21 957
这是我第一次使用Python和网络抓取.已经环顾四周,仍然无法获得我需要做的事情.以下是我通过Chrome使用的元素的打印屏幕.我想做的是,我想从选定的城市名称中获取公寓名称和地址.import requestsfrom bs4 import BeautifulSoup#url = 'http://www.homestead.ca/apartments-for-rent/'rootURL = 'h...
Python爬虫第一课，选取标签内容
k___0___的博客
03-06 550
Python爬虫第一课，选取标签内容 获取标题`# from urllib.request import urlopen `# from urllib.error import HTTPError from bs4 import BeautifulSoup def getTitle(url): try: html = urlopen(url) except HTTPError as e: r...
Python写一个简单爬虫案列
昔明日
02-17 284
好的，下面是一个简单的 Python 网页爬虫代码示例： 复制 import requests from bs4 import BeautifulSoup def spider(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') print(soup.prettify()) if __name__ == '__main__':
Python爬虫的基本操作
大家好，我是 ed.
03-20 901
爬虫的基本操作 爬虫基础知识 什么是爬虫？ 　　在最开始，还没有诞生Google和百度等一系列搜索引擎的公司的时候，人们进入一些公司的网站只能通过在浏览器地址栏输入网址的方式访问，如同在很早之前前手机不流行的时候，我们会把各个好友的电话号码抄写在一个电话本上一样将各个公司的网站记录在文档中，很不方便。 　　当搜索引擎公司出现的时候，这些搜索引擎公司来做了一个大黄页，把所有网站的网址搜集起来...
Python爬虫入门——Requests库
12-23
学习爬虫之前呢，最好要对HTTP协议有了解，我前面有写过几篇关于HTTP协议的文章，建议读者阅读一下，对爬虫帮助很大。 1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑...
Python爬虫入门.zip
05-31
【Python爬虫入门】 在信息技术日新月异的今天，数据已经成为了一种重要的资源。Python作为一种简洁且功能强大的编程语言，因其丰富的库支持和易读性，成为了爬虫开发的首选工具。本资料包“Python爬虫入门.zip”...
python爬虫requests库入门基础
06-06
python爬虫requests库入门基础
python爬虫从入门到精通（模块）
03-17
这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库的使用 4. 爬虫实战：爬取百度...
Python爬虫入门示例.zip
最新发布
06-01
**Python爬虫入门示例** Python爬虫是利用Python编程语言编写的一种自动化程序，用于从互联网上抓取信息。在互联网数据量日益庞大的今天，爬虫技术成为了获取、处理网络数据的重要工具。本示例将带你了解Python爬虫...
python爬虫使用 requests-html爬取网页信息以及常用方法
瑶山的博客
07-21 5274
安装 pip3 install requests-html 使用 from requests_html import HTMLSession # 获取请求对象 session = HTMLSession() sina = session.get('https://news.sina.com.cn/') sina.encoding = 'utf-8' print(sina.text) 常用方法： 获取a链接 # 绝对链接，全路径 sina.html.xpath('/html/body/
requests 用类封装一个基本爬虫（入门，仅供参考）
qq_42847500的博客
12-24 532
以百度贴吧为例（爬取lol吧） import requests class TiebaSpider: def __init__(self,tieba_name_crawl): &quot;&quot;&quot; 初始化必要参数,完成基础设置 &quot;&quot;&quot; self.tieba_name = tieba_name_crawl self.url_..
Python爬虫之requests模块(2)
a86123969的博客
03-11 79
一.今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 二.回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 三.引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到...
php 5.6.22 漏洞,SugarCRM v6.5.23 PHP反序列化对象注入漏洞
weixin_34840783的博客
03-19 546
Author: p0wd3r (知道创宇404安全实验室) Date: 2016-09-120x00 漏洞概述1.漏洞简介SugarCRM(http://www.sugarcrm.com/)是一套开源的客户关系管理系统。近期研究者发现在其<=6.5.23的版本中存在反序列化漏洞，程序对攻击者恶意构造的序列化数据进行了反序列化的处理，从而使攻击者可以在未授权状态下执行任意代码。2.漏洞影响未授...
PHP 从菜鸟到大咖的踩坑之路
weixin_38725465的博客
05-24 998
https://cloud.tencent.com/developer/article/1464655 电商Sku设计思维 https://xlswriter-docs.viest.me/zh-cn/an-zhuang/mac 借助C扩展来 处理百万 excel文件的导入导出 https://juejin.im/post/6867433557313863688 数组巧用 https://juejin.im/post/6844904093735976974 来源不一样的数据分页 ht.
php try file_get_contents,如何修复PHP警告：file_get_contents？
weixin_28990983的博客
03-13 287
我收到以下警告：Warning: file_get_contents(C:\xampp\htdocs\test/wp-content/themes/test\images) [function.file-get-contents]: failed to open stream: Permission denied in ..\plugins\theme-check\main.php on line...
PHP读取文件函数fread，fgets，fgetc，file_get_contents和file函数的使用总结
weixin_30955341的博客
01-20 105
　　fread()、fgets()、fgetc()、file_get_contents() 与 file() 函数用于从文件中读取内容。 　　1.fread() 　　fread()函数用于读取文件（可安全用于二进制文件） 　　语法：string fread(int handle,int length) 　　fread() 从文件指针 handle 读取最多 length 个字节。当遇到下列...
file_get_contents('php://input')
zp1220的专栏
12-29 657
$data = file_get_contents("php://input"); php://input 是个可以访问请求的原始数据的只读流。 POST 请求的情况下，最好使用 php://input 来代替 $HTTP_RAW_POST_DATA，因为它不依赖于特定的 php.ini 指令。 而且，这样的情况下 $HTTP_RAW_POST_DATA 默认没有填充， 比激活 always
两万字博文教你python爬虫requests库详解篇.pdf
05-23
两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值