Python爬虫--1

已于 2024-01-13 13:17:15 修改
阅读量1.9k 收藏 16
点赞数 20
分类专栏： python共同学习 文章标签： python 爬虫 开发语言
于 2024-01-13 13:14:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34486832/article/details/135565947
版权

1、爬虫简介

【1】什么是爬虫：

        通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

【2】爬虫的价值：

        1、实际应用；

        2、就业；

【3】合法性：

        1、爬虫在法律是不被禁止的；

        2、具有违法风险（公开的信息是可以的）；

        3、干扰了被访问网站的正常运营（恶意爬虫）；爬取了收到法律保护的特定类型的数据或者信息；

        4、优化自己程序，避免被访问网站的正常运营；审查抓取的内容；（避免进入局子的方法）

【4】爬虫在使用场景中的分类：

        1、通用爬虫

                百度、谷歌等常见的浏览器都有一个抓取系统，通用爬虫是抓取系统的重要组成部分，它抓取的是一整张页面数据。

        2、聚焦爬虫

                建立在通用爬虫的基础之上，抓取的是页面中特定的、指定的局部内容。

        3、增量式爬虫

                检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据。

【5】爬虫的矛与盾：

        1、反爬机制：

                门户网站可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

        2、反反爬策略：

                爬虫程序可以通过制定相应的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以爬取网站中相关的数据。

【6】robots.txt协议：

        规定了网站中哪些数据可以爬取，哪些数据不可以爬取。假如看搜狐上的robots.txt规定，可以通过https://sohu.com/robots.txt访问，可以看到有些目录是可以被百度（Baiduspider）爬取（Allow），但是有些是不能被百度爬取的（Disallow）。

User-agent: Baiduspider
Disallow: /*?*
Allow: /a/*?*
Allow: /abroad_a/*?*
Allow: /picture/*?*
Allow: /*_a(/qihoo_a)/*?*
Allow: /collection/*?*
Allow: /ab_a/*?*
Allow: /classic*?*
Allow: /?*$
Allow: /new*?*
Allow: /business*?*
Allow: /it*?*
Allow: /fashion*?*
Allow: /leaening*?*
Allow: /health*?*
Allow: /yule*?*
Allow: /mt*?*
Allow: /travel*?*
Allow: /baobao*?*
Allow: /chihe*?*
Allow: /cul*?*
Allow: /history*?*
Allow: /gov*?*
Allow: /gongyi*?*
Allow: /police*?*
Allow: /mil*?*
Allow: /acg*?*
Allow: /astro*?*
Allow: /game*?*
Allow: /pets*?*
Allow: /sports*?*
Allow: /subject/*?*

User-agent: YisouSpider
Disallow: /*?*
Allow: /a/*?*
Allow: /abroad_a/*?*
Allow: /picture/*?*
Allow: /*_a(/qihoo_a)/*?*
Allow: /collection/*?*
Allow: /ab_a/*?*
Allow: /classic*?*
Allow: /?*$
Allow: /new*?*
Allow: /business*?*
Allow: /it*?*
Allow: /fashion*?*
Allow: /leaening*?*
Allow: /health*?*
Allow: /yule*?*
Allow: /mt*?*
Allow: /travel*?*
Allow: /baobao*?*
Allow: /chihe*?*
Allow: /cul*?*
Allow: /history*?*
Allow: /gov*?*
Allow: /gongyi*?*
Allow: /police*?*
Allow: /mil*?*
Allow: /acg*?*
Allow: /astro*?*
Allow: /game*?*
Allow: /pets*?*
Allow: /sports*?*
Allow: /subject/*?*

User-agent: Bytespider
Disallow: /*?*
Allow: /a/*?*
Allow: /abroad_a/*?*
Allow: /picture/*?*
Allow: /*_a(/qihoo_a)/*?*
Allow: /collection/*?*
Allow: /ab_a/*?*
Allow: /classic*?*
Allow: /?*$
Allow: /new*?*
Allow: /business*?*
Allow: /it*?*
Allow: /fashion*?*
Allow: /leaening*?*
Allow: /health*?*
Allow: /yule*?*
Allow: /mt*?*
Allow: /travel*?*
Allow: /baobao*?*
Allow: /chihe*?*
Allow: /cul*?*
Allow: /history*?*
Allow: /gov*?*
Allow: /gongyi*?*
Allow: /police*?*
Allow: /mil*?*
Allow: /acg*?*
Allow: /astro*?*
Allow: /game*?*
Allow: /pets*?*
Allow: /sports*?*
Allow: /subject/*?*
Allow: /integration-api/*?*
Allow: /public-api/*?*

想看网站xxxxx的robots协议的话，可以进去网址中xxxxx.com进行查看。

【7】http协议

        服务器和客户端进行数据交互的一种形式。打开百度首页，在空白处单击右键出现“审查元素”，如下图，随便点开一个对象，如下图：

可以看到请求头信息和响应头信息。

常用请求头信息：

        （1）User-Agent：指请求载体的身份标识。

                在上图中，在请求头信息中可以看到“User-Agent”，内容是：Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36

        （2）Connection：请求完毕之后，是断开连接还是保持连接。

常用响应头信息：

        （1）Content-Type：服务器响应回客户端的数据类型（可以是字符串\JSON等）。

【8】https协议

        指安全的http（超文本传输）协议。进行了数据加密。

【9】加密方式

        （1）对称秘钥加码；

        （2）非对称秘钥加密；

        （3）证书秘钥加密（https）。

【10】爬虫的重点步骤是什么？

        网页分析；网页分析；网页分析。

2、python库

        python中基于网络请求的模块有urllib模块和requests模块。

2.1、requests库

        python中原生的一款基于网络请求的模块。作用：模拟浏览器发请求。浏览器发起请求过程：

        （1）指定url；

        （2）发起请求；

        （3）获取响应数据；

        （4）持久化存储。

使用requests模拟上面的流程即可。

实战：爬取百度首页的页面数据

# -*-coding = utf-8-*-
# 爬虫爬取百度首页内容，并保存称一个html文件。
import requests

if __name__ == '__main__' :
    # 第一步：指定url、指定认证header
    url = "https://www.baidu.com"

    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }

    # 第二步：发起请求；get()会返回一个相应对象
    response = requests.get(url = url, headers=header)

    # 第三步：获取响应数据[.text是返回字符串形式的相应数据]
    page_text = response.text
    print(page_text)

    # 第四步：持久化存储
    with open("./temp/test-0-baiduwangye.html", 'w', encoding='utf-8') as fp :
        fp.write(page_text)
    print('保存成功！')

2.2、requests中的7中主要方法

requests.request(method, url, **kwagrs)

构造一个请求，支持其余的六种方法

requests.get(url, params = None, **kwargs)

获取html的主要方法

requests.head()

获取html头部信息的主要方法

requests.post()

向html网页提交post请求的方法

requests.put()

向html网页提交put请求的方法

requests.patch()

向html提交局部修改的请求

requests.delete()

向html提交删除请求

requests.options()

注：get，head是从服务器获取信息到本地；put，post，patch，delete是从本地向服务器提交信息。

2.3、requests.request()：构造一个请求，支持其余的六种方法

示例：

response = requests.request(method, url, **kwagrs)

参数：

（1）method：是请求方式，对应get、head、post、put、patch、delete、options等7种方法；

（2）url：是获取页面的url链接；

（3）**kwagrs：是控制访问的参数，有13个：

**kwagrs是控制访问的参数，均为可选项，有13种，详细解释如下：

（3.1）params：字典或字节序列，作为参数增加到url中，使用这个参数可以把一些键值对以?key1=value1&key2=value2的模式增加到url中。

import requests

def test() :
    url = "https://www.baidu.com"
    data = {"key1" : "data1", "key2" : "data2"}
    response = requests.get(url=url, params=data)
    print(response.url)
    # 结果为：https://www.baidu.com/?key1=data1&key2=data2

if __name__ == '__main__':
    test()

（2）data：字典，字节序列或文件对象，重点作为向服务器提供或提交资源，作为requests的内容，与params不同的是，data提交的数据并不放在url链接里， 而是放在url链接对应位置的地方作为数据来存储，它也可以接受一个字符串对象。

import requests

def test() :
    url = "https://www.baidu.com"
    data = {"key1" : "data1", "key2" : "data2"}
    response = requests.put(url=url, data=data)
    print(response.url)

if __name__ == '__main__':
    test()

（3）json：json格式的数据，也是http最经常使用的数据格式，作为request的内容。

import requests

def test() :
    url = "https://www.baidu.com"
    data = {"key1" : "data1", "key2" : "data2"}
    response = requests.post(url=url, json=data)
    print(response.url)

if __name__ == '__main__':
    test()

（4）headers：字典，可以用这个字段来定义http的访问的http头，可以用来模拟任何我们想模拟的浏览器来对url发起访问。

import requests

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.put(url=url, headers=header)
    print(response.headers)

if __name__ == '__main__':
    test()

（5）cookies：字典或CookieJar，指的是从http中解析cookie

import requests

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.post(url=url, headers=header)
    cookies = response.cookies
    print(type(cookies))

if __name__ == '__main__':
    test()

（6）auth：元组，用来支持http认证功能

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.get(url=url, headers=header, auth=HTTPBasicAuth('user', 'user'))
    print(response.status_code)

if __name__ == '__main__':
    test()

（7）files：字典，用来向服务器传输文件时使用的字段

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    fs = {"files" : open('xxx/xxx/xxx/cccc.txt', 'rb')}
    response = requests.put(url=url, headers=header, files=fs)
    print(response.status_code)

if __name__ == '__main__':
    test()

（8）timeout：设定超时时间，单位为秒，当发起一个get请求时可以设置一个timeout时间，如果在timeout时间内请求内容没有返回，将产生一个timeout的异常。

import requests
from requests.auth import HTTPBasicAuth
from requests.exceptions import ReadTimeout

def test() :
    try:
        url = "https://www.baidu.com"
        header = {
            'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                           'Chrome/108.0.5359.95 Safari/537.36'
        }
        response = requests.get(url=url, headers=header, timeout=0.5)
        print(response.status_code)
    except ReadTimeout :
        print('Time Out')

if __name__ == '__main__':
    test()

（9）proxies：字典，用来设置访问代理服务器，可以增加登录认证

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.get(url=url, headers=header, proxies=True)
    print(response.status_code)

if __name__ == '__main__':
    test()

（10）allow_redirects：开关，表示是否允许对url进行重定向，默认为True

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.get(url=url, headers=header, allow_redirects=True)
    print(response.status_code)

if __name__ == '__main__':
    test()

（11）stream：开关，指是否对获取内容进行立即下载，默认为True

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.get(url=url, headers=header, stream=True)
    print(response.status_code)

if __name__ == '__main__':
    test()

（12）verify：开关，用于认证SSL整数，默认为True

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.get(url=url, headers=header, verify=True)
    print(response.status_code)

if __name__ == '__main__':
    test()

（13）cert：用于设置保存本地SSL证书路径

import requests
from requests.auth import HTTPBasicAuth

def test() :
    url = "https://www.baidu.com"
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/108.0.5359.95 Safari/537.36'
    }
    response = requests.get(url=url, headers=header, cert=('../../*.crt', '../../.ssh/*.key'))
    print(response.status_code)

if __name__ == '__main__':
    test()

2.4、异常

requests.ConnectionError

网络连接异常，如DNS查询失败，拒绝连接等

requests.HTTPError

HTTP错误异常

requests.URLRequired

URL缺失异常

requests.ToolManyRedirects

超过最大重定向次数，产生重定向异常

requests.ConnectTimeout

连接远程服务器超时异常

requests.Timeout

请求URL超时，产生超时异常

2.5、Response对象

示例：

response = requests.get(url)

解读：

        response：是一个Response对象，一个包含服务器资源的对象；

        .get(url)：是一个Request对象，构造一个向服务器请求资源的Request。

获取response的类型：type(response)。

显示response具有的属性：dir(response)。

response具有如下几个属性：

属性

说明

response.status_code

HTTP请求返回状态码，200表示成功

response.text

HTTP响应的字符串形式，即url对应的页面内容

response.encoding

从HTTP header中猜测的响应内容的编码方式

response.apparent_encoding

从内容中分析响应内容的编码方式（备选编码方式）

response.content

HTTP响应内容的二进制形式

response.json

返回JSON格式，可能抛出异常

response.url

返回请求URL

response.headers

请求头

response.cookies

返回RequestsCookieJar对象

response.history

返回以列表存储的请求历史记录

3、示例

3.1、实现一个网页采集器

分析网页：在搜狗浏览器中搜索“波校长”得到的结果页面如下：

# -*-coding = utf-8-*-
# 爬取搜狗浏览器中任意词条的搜索结果。
import requests

'''
反爬策略：UA检测
反反爬机制：UA伪装（UA：User-Agent：请求载体的身份标识）
UA伪装：门户网站的服务器会检测对应请求的载体身份标识，
       如果检测到请求的载体身份标识为某一款浏览器，就说明该请求是一个正常的请求；
       如果检测到请求的载体身份标识不是某一款浏览器，则表明该请求为不正常的请求（爬虫）；
       服务器端就很有可能拒绝该请求。
UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器。
爬虫中一定要进行UA伪装。
'''

if __name__ == '__main__' :
    '''
    url = "https://www.sogou.com/web?query=%E6%B3%A2%E6%A0%A1%E9%95%BF"
    url = "https://www.sogou.com/web?query=波校长"
    上述这两个utl是一样的。
    '''
    # UA伪装：将对应的User-Agent封装到一个字典中
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, '
                       'like Gecko) Chrome/108.0.5359.95 Safari/537.36'
    }

    # 处理url携带的参数，封装到字典中；动态参数
    kw = input('enter a word: ')
    param = {
        'query' : kw
    }
    url = "https://www.sogou.com/web"
    # 对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
    response = requests.get(url = url, params = param, headers = header)

    # 得到结果
    page_text = response.text

    # 存储
    file_name =  './temp/test-1-网页采集器-' + kw + '.html'
    with open(file_name, 'w', encoding='utf-8') as fp :
        fp.write(page_text)
    print(file_name, '保存成功！')
    print(response.url)

3.2、爬取百度翻译内容

分析网页：在百度翻译中，依次输入“d” “o” “g”三个字符，查看网页Fetch/XHR的变化，出现三个“sug”的POST请求，如下：

# -*-coding = utf-8-*-
# 爬取百度翻译。
import requests
import json

if __name__ == '__main__' :
    # step1：指定url
    post_url = "https://fanyi.baidu.com/sug"

    # step2：UA伪装：将对应的User-Agent封装到一个字典中
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
    }

    # step3：处理post携带的参数，封装到字典中；动态参数
    fanyi_word = input('enter a word: ')
    data = {
        'kw' : fanyi_word
    }

    # step4：请求发送
    response = requests.post(url = post_url, data = data, headers = header)

    # step5：获得响应数据；json()方法返回的是obj（确认服务器响应数据是json的，才可以用json()）
    dict_obj = response.json()
    print(dict_obj)

    # step6：存储
    file_name = './temp/test-2-百度翻译-' + fanyi_word + '.json'
    fp = open(file_name, 'w', encoding='utf-8')
    json.dump(dict_obj, fp = fp, ensure_ascii = False)

    print('保存成功！')
    print(response.url)

3.3、爬取豆瓣电影分类排行榜（豆瓣电影中的电影详情数据）

分析网页，刚打开网页时，一共刷新了20个电影的信息，返回的是一个JSON文件，载荷中start=0，limit=20；

然后再网页面，往下滑动网页，又刷新出了20个电影的详细信息，载荷中start=20，limit=20；再往后可以一次类推。

# -*-coding = utf-8-*-
# 爬取豆瓣电影中电影详情数据。
import requests
import json

if __name__ == '__main__' :
    # step1：指定url
    url = "https://movie.douban.com/j/chart/top_list"

    # step2：UA伪装：将对应的User-Agent封装到一个字典中
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
    }

    # step3：处理get携带的参数，封装到字典中；动态参数
    data = {
        'type' : '24',
        'interval_id' : '100:90',
        'action' : '',
        'start' : '1',    # 从库中的第几部电影去取
        'limit' : '68'    # 一次取出个个数
    }

    # step4：请求发送
    response = requests.get(url = url, params = data, headers = header)

    # step5：获得响应数据；json()方法返回的是obj（确认服务器响应数据是json的，才可以用json()）
    list_data = response.json()
    print(list_data)

    # step6：存储
    file_name = './temp/test-3-douban-' + 'douban.json'
    fp = open(file_name, 'w', encoding='utf-8')
    json.dump(list_data, fp = fp, ensure_ascii = False)
    # ensure_ascii = False 中文不用ascii形式去写

    print('保存成功！')

3.4、爬取肯德基餐厅查询肯德基餐厅信息查询 中指定的餐厅数 

分析网页，在“餐厅关键字”输入“北京”，然后回车得到如下的数据。是一个post请求，返回的是一个text的数据类型。载荷携带的信息如下：

​

​

# -*-coding = utf-8-*-
# 爬取肯德基餐厅信息。
import requests
import json

if __name__ == '__main__' :
    # step1：指定url
    post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx"

    # step2：UA伪装：将对应的User-Agent封装到一个字典中
    header = {
        'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36'
    }

    # step3：处理post携带的参数，封装到字典中；动态参数
    data = {
        'op' : 'keyword',
        'cname' : '',
        'pid' : '',
        'keyword' : '北京',
        'pageIndex' : '1',  # 查询返回的页码
        'pageSize' : '10'   # 查询返回的每页的数据的个数
    }

    # step4：请求发送
    response = requests.post(url = post_url, data = data, headers = header)

    # step5：获得响应数据；json()方法返回的是obj（确认服务器响应数据是json的，才可以用json()）
    text = response.text
    print(text)

    # step6：存储

    print('保存成功！')

xinruoqianqiu
关注
  • 20
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python爬虫-电影数据抓取
weixin_54824895的博客
06-13 1万+
1、进入此次爬取的页面点这里。2、按F12—> network3、ctrl+r 刷新 如图搜索一个电影名，找到数据位置，然后查看4、找到请求的url ‘？’后边的是参数，不要带上5、参数单独拿出来start：0 代表的是排行榜的第一部电影limit：20 代表的是一次返回20条数据（20部电影）start和limit都可以更改6、大致先看一看拿到的数据类型，然后解析，从其中拿到自己想要的数据 7、开始编写代码： 运行代码，查看结果： 拿到的的确是两条数据，然后从其中选择自己想要的数据出来，进行可视
python爬虫-国家企业_国家企业信用公示系统的爬取
weixin_32821643的博客
02-10 4167
具体操作：response = self.session.get(self.cookie_url)js_code1 = response.textprint(js_code1)print(response.cookies)输出var x="toLowerCase@@@@267@@@@window@36@@@@firstChild@div@@catch@@var@rOm9XFMtA3QKV7nYsP...
python爬虫 - 代理ip正确使用方法
热门推荐
爱意随风起，风止意难平
04-26 4万+
主要内容：代理ip使用原理，怎么在自己的爬虫里设置代理ip，怎么知道代理ip是否生效，没生效的话哪里出了问题，个人使用的代理ip(付费）。
python爬虫---字体反爬
bmx_rikes的博客
04-14 930
目标地址：http://glidedsky.com/level/web/crawler-font-puzzle-1 打开google调试工具检查发现网页上和源码之中的数字不一样, 已经确认该题目为 字体反扒 直接进入正题： ###获取字体文件： ####1丶直接找到数字节点属性：style 的 font-family 的值：glided_sky，在源码中找到 引入的的字体文件 并保存下来到本地 ####2丶该字体文件通过base64编码保存的 直接请求 将编码的值 和 节点中的数字内容 获取到 (
python--爬虫--selenium的简介和使用
直到世界的尽头
12-09 4467
selenium简介 什么是selenium selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。 selenium模块本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器； selenium爬虫称之为可视
Python爬虫-爬取天气信息(1)
一只程序猿子的博客
06-20 2941
接下来我将通过三篇文章介绍如何通过天气网 (weather.com.cn)爬取天气信息。本文将介绍爬取地区名称与地区ID的对应关系，为爬取天气信息打下基础。
Python爬虫---影评的爬取
qq_45679541的博客
06-10 4423
Python爬虫—影评的爬取 介绍：爬虫练手，使用Requests库进行豆瓣影评的爬虫，做成词云图，写文章主要做一些问题解决的记录。 关于在豆瓣爬取影评内容，就不太多叙述，推荐看一个B站up的视频，简单易懂 视频链接 目录Python爬虫---影评的爬取项目准备项目代码遇到的问题及解决方法1.安装worldcloud库遇到问题2.安装其他第三方库遇到问题3.bs4.FeatureNotFound:找不到具有您请求的功能的树生成器：lxml。您需要安装解析器库吗？4.文件编码格式问题5.ImportError
python爬虫-视频爬虫（1）
qq_32828053的博客
07-15 7482
python爬虫-视频爬虫（1） 一、视频爬虫介绍 本篇文章主要是针对直接可以找到完整视频的链接（可能需要拼接成完整链接）进行下载的那一类视频爬虫 二、视频爬虫步骤 和所有的爬虫一样，首先熟悉你需要爬虫的网页，从中找到我们需要下载的视频的链接、或者可以拼接成视频的下载链接，最后才是把这个过程用python代码来实现自动化。 三、爬虫代码的实现 以【好看视频】网址为例 和图片的爬虫不同，图片的链接都是可以在网页的源码中找到的，而视频需要你打开F12刷新网页查看接口请求，从接口的响应里面获取数据； 让我们先打开
Python爬虫--127.0.0.1问题
zly717216的博客
02-25 2万+
Made By zly All Right Reversed windows下浏览器无法访问127.0.0.1解决办法 python scrapyd部署爬虫 问题 在终端输入 scrapyd 但是在浏览器却显示打不开网页 解决办法 镜像劫持的问题 所谓的镜像劫持，就是在注册表的[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\ CurrentV...
python网络爬虫--浏览器伪装
小马哥的博客
03-12 2863
爬虫
python爬虫-爬取火车票.zip
01-21
利用python 爬虫 爬取火车票的数据。值得学习一下！！！
Python爬虫-爬取目标城市酒店数据
11-12
通过python爬虫采集城市的酒店数据 内容概要：使用python采集酒店数据 适用人群：做酒店数据市场调研，数据分析报告的人群 使用场景及目标：需要依靠python3环境，执行爬虫脚本 其他说明：需要使用开发者工具捕捉...
python爬虫-mast笔记
最新发布
05-31
python爬虫-mast笔记python爬虫-mast笔记python爬虫-mast笔记
Python爬虫-Selenium
03-05
122版本的Chrome驱动phantomjs的驱动
python爬虫-爬取豆瓣音乐
05-30
python爬虫-爬取豆瓣音乐
如何mysql数据导入到mongdb
codemami的博客
05-30 733
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
学 Python 具体能干什么？
猿小白的博客
05-26 1206
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
在linux服务器上使用tensorboard，错误记录
wwwwzm的博客
05-30 449
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
Pandas03
Bianca427的博客
05-27 1205
聚合计算时新增一列计算最大值与平均值的差值df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=('salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])
python爬虫--re模块
09-06
re模块是Python中用于处理正则表达式的模块。正则表达式是一种强大的文本匹配和处理工具，它可以用来查找、替换和提取字符串中的特定模式。 在爬虫中，re模块常用于从网页源代码中提取所需的信息。以下是re模块的一些常用方法： 1. re.search(pattern, string)：在字符串中搜索匹配指定模式的第一个位置。如果找到匹配，则返回一个匹配对象；否则返回None。 2. re.match(pattern, string)：从字符串的起始位置开始匹配指定模式。如果匹配成功，则返回一个匹配对象；否则返回None。 3. re.findall(pattern, string)：返回一个列表，其中包含字符串中所有与指定模式匹配的非重叠子字符串。 4. re.sub(pattern, repl, string)：将字符串中所有与指定模式匹配的子字符串替换为repl。 这只是re模块的一部分功能，你可以根据自己的需求进一步学习和使用。如果你有具体的爬虫任务或问题，可以提供更多详细信息，我可以给你更具体的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值