python爬虫实战

最新推荐文章于 2024-08-06 09:49:30 发布
最新推荐文章于 2024-08-06 09:49:30 发布
阅读量547 收藏 2
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang714/article/details/104514342
版权

用Python开发爬虫是一件很轻松愉悦的事情，因为其相关库较多，而且使用方便，短短十几行代码就可以完成一个爬虫的开发；
但是，在应对具有反爬措施的网站，使用js动态加载的网站，App采集的时候就得动动脑子了；并且在开发分布式爬虫，高性能爬虫的时候更得用心设计。

Python开发爬虫常用的工具总结

  1. reqeusts：Python HTTP网络请求库；
  2. pyquery： Python HTML DOM结构解析库，采用类似JQuery的语法；
  3. BeautifulSoup：python HTML以及XML结构解析；
  4. selenium：Python自动化测试框架，可以用于爬虫；
  5. phantomjs：无头浏览器，可以配合selenium获取js动态加载的内容；
  6. re：python内建正则表达式模块；
  7. fiddler：抓包工具，原理就是是一个代理服务器，可以抓取手机包；
  8. anyproxy：代理服务器，可以自己撰写rule截取request或者response，通常用于客户端采集；
  9. celery：Python分布式计算框架，可用于开发分布式爬虫；
  10. gevent：Python基于协程的网络库，可用于开发高性能爬虫
  11. grequests：异步requests
  12. aiohttp:异步http client/server框架
  13. asyncio：python内建异步io，事件循环库
  14. uvloop：一个非常快速的事件循环库，配合asyncio效率极高
  15. concurrent：Python内建用于并发任务执行的扩展
  16. scrapy：python 爬虫框架；
  17. Splash：一个JavaScript渲染服务，相当于一个轻量级的浏览器，配合lua脚本通过他的http API 解析页面；
  18. Splinter：开源自动化Python web测试工具
  19. pyspider：Python爬虫系统

网页抓取思路

    1. 数据是否可以直接从HTML中获取？数据直接嵌套在页面的HTML结构中；
    2. 数据是否使用JS动态渲染到页面中的？数据嵌套在js代码中，然后采用js加载到页面或者采用ajax渲染；
    3. 获取的页面使用是否需要认证？需要登录后页面才可以访问；
    4. 数据是否直接可以通过API得到？有些数据是可以直接通过api获取到，省去解析HTML的麻烦，大多数API都是以JSON格式返回数据；
    5. 来自客户端的数据如何采集？例如：微信APP和微信客户端

如何应对反爬

  1. 不要太过分，控制爬虫的速率，别把人家整垮了，那就两败俱伤了；
  2. 使用代理隐藏真实IP，并且实现反爬；
  3. 让爬虫看起来像人类用户，选择性滴设置以下HTTP头部：
    • Host：https://www.baidu.com
    • Connection：keep-alive
    • Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8
    • UserAgent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36
    • Referer: http://s.weibo.com/user/gamelife1314&Refer=index
    • Accept-Encoding: gzip, deflate
    • Accept-Language: zh-CN,zh;q=0.8
  4. 查看网站的cookie，在某些情况下，请求需要添加cookie用于通过服务端的一些校验；

案例说明

静态页面解析

import pyquery
import re


def weixin_article_html_parser(html):
    """
    解析微信文章，返回包含文章主体的字典信息
    :param html: 文章HTML源代码
    :return:
    """

    pq = pyquery.PyQuery(html)

    article = {
        "weixin_id": pq.find("#js_profile_qrcode "
                               ".profile_inner .profile_meta").eq(0).find("span").text().strip(),
        "weixin_name": pq.find("#js_profile_qrcode .profile_inner strong").text().strip(),
        "account_desc": pq.find("#js_profile_qrcode .profile_inner "
                                ".profile_meta").eq(1).find("span").text().strip(),
        "article_title": pq.find("title").text().strip(),
        "article_content": pq("#js_content").remove('script').text().replace(r"\r\n", ""),
        "is_orig": 1 if pq("#copyright_logo").length > 0 else 0,
        "article_source_url": pq("#js_sg_bar .meta_primary").attr('href') if pq(
            "#js_sg_bar .meta_primary").length > 0 else '',

    }

    # 使用正则表达式匹配页面中js脚本中的内容
    match = {
        "msg_cdn_url": {"regexp": "(?<=\").*(?=\")", "value": ""},  # 匹配文章封面图
        "var ct": {"regexp": "(?<=\")\d{10}(?=\")", "value": ""},  # 匹配文章发布时间
        "publish_time": {"regexp": "(?<=\")\d{4}-\d{2}-\d{2}(?=\")", "value": ""},  # 匹配文章发布日期
        "msg_desc": {"regexp": "(?<=\").*(?=\")", "value": ""},  # 匹配文章简介
        "msg_link": {"regexp": "(?<=\").*(?=\")", "value": ""},  # 匹配文章链接
        "msg_source_url": {"regexp": "(?<=').*(?=')", "value": ""},  # 获取原文链接
        "var biz": {"regexp": "(?<=\")\w{1}.+?(?=\")", "value": ""},
        "var idx": {"regexp": "(?<=\")\d{1}(?=\")", "value": ""},
        "var mid": {"regexp": "(?<=\")\d{10,}(?=\")", "value": ""},
        "var sn": {"regexp": "(?<=\")\w{1}.+?(?=\")", "value": ""},
    }
    count = 0
    for line in html.split("\n"):
        for item, value in match.items():
            if item in line:
                m = re.search(value["regexp"], line)
                if m is not None:
                    count += 1
                    match[item]["value"] = m.group(0)
                break
        if count >= len(match):
            break

    article["article_short_desc"] = match["msg_desc"]["value"]
    article["article_pos"] = int(match["var idx"]["value"])
    article["article_post_time"] = int(match["var ct"]["value"])
    article["article_post_date"] = match["publish_time"]["value"]
    article["article_cover_img"] = match["msg_cdn_url"]["value"]
    article["article_source_url"] = match["msg_source_url"]["value"]
    article["article_url"] = "https://mp.weixin.qq.com/s?__biz={biz}&mid={mid}&idx={idx}&sn={sn}".format(
        biz=match["var biz"]["value"],
        mid=match["var mid"]["value"],
        idx=match["var idx"]["value"],
        sn=match["var sn"]["value"],
    )

    return article


if __name__ == '__main__':

    from pprint import pprint
    import requests
    url = ("https://mp.weixin.qq.com/s?__biz=MzI1NjA0MDg2Mw==&mid=2650682990&idx=1"
           "&sn=39419542de39a821bb5d1570ac50a313&scene=0#wechat_redirect")
    pprint(weixin_article_html_parser(requests.get(url).text))

# {'account_desc': '夜听，让更多的家庭越来越幸福。',
#  'article_content': '文字：安梦 \xa0 \xa0 声音：刘筱 得到了什么？又失去了什么？',
#  'article_cover_img': 'http://mmbiz.qpic.cn/mmbiz_jpg/4iaBNpgEXstYhQEnbiaD0AwbKhmCVWSeCPBQKgvnSSj9usO4q997wzoicNzl52K1sYSDHBicFGL7WdrmeS0K8niaiaaA/0?wx_fmt=jpeg',
#  'article_pos': 1,
#  'article_post_date': '2017-07-02',
#  'article_post_time': 1499002202,
#  'article_short_desc': '周日    来自刘筱的晚安问候。',
#  'article_source_url': '',
#  'article_title': '【夜听】走到这里',
#  'article_url': 'https://mp.weixin.qq.com/s?__biz=MzI1NjA0MDg2Mw==&mid=2650682990&idx=1&sn=39419542de39a821bb5d1570ac50a313',
#  'is_orig': 0,
#  'weixin_id': 'yetingfm',
#  'weixin_name': '夜听'}

 

使用phantomjs解析js渲染的页面–微博搜索

有些页面采用复杂的js逻辑处理，包含各种Ajax请求，请求之间还包含一些加密操作，通过分析js逻辑重新渲染页面拿到
想要的数据可谓比登天还难，没有坚实的js基础，不熟悉各种js框架，搞明白这种页面就别想了；
采取类似浏览器的方式渲染页面，直接获取页面HTML方便多了。

例如：http://s.weibo.com/ 搜索出来的结果是使用js动态渲染的，直接获取HTML并不会得到搜索的结果，所以我们要运行
页面中的js，将页面渲染成功以后，再获取它的HTML进行解析；

 

使用Python模拟登陆获取cookie

有些网站比较蛋疼，通常需要登录之后才可以获取数据，下面展示一个简单的例子：用于登录网站吗，获取cookie，然后可以用于其他请求

但是，这里仅仅在没有验证码的情况下，如果要有短信验证，图片验证，邮箱验证那就要另行设计了；

目标网站：http://www.newrank.cn，日期：2017-07-03，如果网站结构更改，就需要修改代以下码了；

#!/usr/bin/env python3
# encoding: utf-8
import time
from urllib import parse

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, WebDriverException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from pyquery import PyQuery


def weibo_user_search(url: str):
    """通过phantomjs获取搜索的页面html"""

    desired_capabilities = DesiredCapabilities.CHROME.copy()
    desired_capabilities["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                                                                 "AppleWebKit/537.36 (KHTML, like Gecko) "
                                                                 "Chrome/59.0.3071.104 Safari/537.36")
    desired_capabilities["phantomjs.page.settings.loadImages"] = True
    # 自定义头部
    desired_capabilities["phantomjs.page.customHeaders.Upgrade-Insecure-Requests"] = 1
    desired_capabilities["phantomjs.page.customHeaders.Cache-Control"] = "max-age=0"
    desired_capabilities["phantomjs.page.customHeaders.Connection"] = "keep-alive"

    driver = webdriver.PhantomJS(executable_path="/usr/bin/phantomjs",  # 设置phantomjs路径
                                 desired_capabilities=desired_capabilities,
                                 service_log_path="ghostdriver.log",)
    # 设置对象的超时时间
    driver.implicitly_wait(1)
    # 设置页面完全加载的超时时间，包括页面全部渲染，异步同步脚本都执行完成
    driver.set_page_load_timeout(60)
    # 设置异步脚本的超时时间
    driver.set_script_timeout(60)

    driver.maximize_window()
    try:
        driver.get(url=url)
        time.sleep(1)
        try:
            # 打开页面之后做一些操作
            company = driver.find_element_by_css_selector("p.company")
            ActionChains(driver).move_to_element(company)
        except WebDriverException:
            pass
        html = driver.page_source
        pq = PyQuery(html)
        person_lists = pq.find("div.list_person")
        if person_lists.length > 0:
            for index in range(person_lists.length):
                person_ele = person_lists.eq(index)
                print(person_ele.find(".person_name > a.W_texta").attr("title"))
        return html
    except (TimeoutException, Exception) as e:
        print(e)
    finally:
        driver.quit()

if __name__ == '__main__':
    weibo_user_search(url="http://s.weibo.com/user/%s" % parse.quote("新闻"))
# 央视新闻
# 新浪新闻
# 新闻
# 新浪新闻客户端
# 中国新闻周刊
# 中国新闻网
# 每日经济新闻
# 澎湃新闻
# 网易新闻客户端
# 凤凰新闻客户端
# 皇马新闻
# 网络新闻联播
# CCTV5体育新闻
# 曼联新闻
# 搜狐新闻客户端
# 巴萨新闻
# 新闻日日睇
# 新垣结衣新闻社
# 看看新闻KNEWS
# 央视新闻评论

 

用Python模拟登陆获取cookie

有些网站比较蛋疼，通常需要登录之后才可以获取数据，下面展示一个简单的例子：用于登录网站吗，获取cookie，然后可以用于其他请求

但是，这里仅仅在没有验证码的情况下，如果要有短信验证，图片验证，邮箱验证那就要另行设计了；

目标网站：http://www.newrank.cn，日期：2017-07-03，如果网站结构更改，就需要修改代以下码了；

 

#!/usr/bin/env python3
# encoding: utf-8

from time import sleep
from pprint import pprint

from selenium.common.exceptions import TimeoutException, WebDriverException
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium import webdriver


def login_newrank():
    """登录新榜，获取他的cookie信息"""

    desired_capabilities = DesiredCapabilities.CHROME.copy()
    desired_capabilities["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                                                                 "AppleWebKit/537.36 (KHTML, like Gecko) "
                                                                 "Chrome/59.0.3071.104 Safari/537.36")
    desired_capabilities["phantomjs.page.settings.loadImages"] = True

    # 自定义头部
    desired_capabilities["phantomjs.page.customHeaders.Upgrade-Insecure-Requests"] = 1
    desired_capabilities["phantomjs.page.customHeaders.Cache-Control"] = "max-age=0"
    desired_capabilities["phantomjs.page.customHeaders.Connection"] = "keep-alive"

    # 填写自己的账户进行测试
    user = {
        "mobile": "user",
        "password": "password"
    }

    print("login account: %s" % user["mobile"])

    driver = webdriver.PhantomJS(executable_path="/usr/bin/phantomjs",
                                 desired_capabilities=desired_capabilities,
                                 service_log_path="ghostdriver.log", )

    # 设置对象的超时时间
    driver.implicitly_wait(1)
    # 设置页面完全加载的超时时间，包括页面全部渲染，异步同步脚本都执行完成
    driver.set_page_load_timeout(60)
    # 设置异步脚本的超时时间
    driver.set_script_timeout(60)

    driver.maximize_window()

    try:
        driver.get(url="http://www.newrank.cn/public/login/login.html?back=http%3A//www.newrank.cn/")
        driver.find_element_by_css_selector(".login-normal-tap:nth-of-type(2)").click()
        sleep(0.2)
        driver.find_element_by_id("account_input").send_keys(user["mobile"])
        sleep(0.5)
        driver.find_element_by_id("password_input").send_keys(user["password"])
        sleep(0.5)
        driver.find_element_by_id("pwd_confirm").click()
        sleep(3)
        cookies = {user["name"]: user["value"] for user in driver.get_cookies()}
        pprint(cookies)

    except TimeoutException as exc:
        print(exc)
    except WebDriverException as exc:
        print(exc)
    finally:
        driver.quit()

if __name__ == '__main__':
    login_newrank()
# login account: 15395100590
# {'CNZZDATA1253878005': '1487200824-1499071649-%7C1499071649',
#  'Hm_lpvt_a19fd7224d30e3c8a6558dcb38c4beed': '1499074715',
#  'Hm_lvt_a19fd7224d30e3c8a6558dcb38c4beed': '1499074685,1499074713',
#  'UM_distinctid': '15d07d0d4dd82b-054b56417-9383666-c0000-15d07d0d4deace',
#  'name': '15395100590',
#  'rmbuser': 'true',
#  'token': 'A7437A03346B47A9F768730BAC81C514',
#  'useLoginAccount': 'true'}

 

在获取cookie之后就可以将获得的cookie添加到后续的请求中了，但是因为cookie是具有有效期的，因此需要定时更新；
可以通过设计一个cookie池来实现，动态定时登录一批账号，获取cookie之后存放在数据库中（redis，MySQL等等），
请求的时候从数据库中获取一条可用cookie，并且添加在请求中访问；

import sys
import csv

import pyquery

from PyQt5.QtCore import QUrl
from PyQt5.QtWidgets import QApplication
from PyQt5.QtWebEngineWidgets import QWebEngineView


class Browser(QWebEngineView):

    def __init__(self):
        super(Browser, self).__init__()
        self.__results = []
        self.loadFinished.connect(self.__result_available)

    @property
    def results(self):
        return self.__results

    def __result_available(self):
        self.page().toHtml(self.__parse_html)

    def __parse_html(self, html):
        pq = pyquery.PyQuery(html)
        for rows in [pq.find("#table_list tr"), pq.find("#more_list tr")]:
            for row in rows.items():
                columns = row.find("td")
                d = {
                    "avatar": columns.eq(1).find("img").attr("src"),
                    "url": columns.eq(1).find("a").attr("href"),
                    "name": columns.eq(1).find("a").attr("title"),
                    "fans_number": columns.eq(2).text(),
                    "view_num": columns.eq(3).text(),
                    "comment_num": columns.eq(4).text(),
                    "post_count": columns.eq(5).text(),
                    "newrank_index": columns.eq(6).text(),
                }
                self.__results.append(d)

        with open("results.csv", "a+", encoding="utf-8") as f:
            writer = csv.DictWriter(f, fieldnames=["name", "fans_number", "view_num", "comment_num", "post_count",
                                                   "newrank_index", "url", "avatar"])
            writer.writerows(self.results)

    def open(self, url: str):
        self.load(QUrl(url))


if __name__ == '__main__':
    app = QApplication(sys.argv)
    browser = Browser()
    browser.open("https://www.newrank.cn/public/info/list.html?period=toutiao_day&type=data")
    browser.show()
    app.exec_()

5. 使用Fiddler抓包分析

  1. 浏览器抓包
  2. fiddler手机抓包

6. 使用anyproxy抓取客户端数据–客户端数据采集

7. 关于开发高性能爬虫的总结

huang714
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Python进行万方会议期刊学位论文的爬取
12-04
使用BeautifulSoup和request包爬取万方数据库的会议论文， 期刊论文，学位论文，并借用pymongo存入数据库
Selenium最全超时等待问题的处理方案
热门推荐
python之战
04-05 1万+
Selenium广泛应用于自动化测试和自动化业务开发，同时在网络爬虫中也有较多的应用，使用Selenium有两个核心的问题：第一个是如何在爬虫领域不被识别出来，另一个是在自动化领域如何解决超时加载的问题。 今天来总结一下处理Selenium在自动化业务中的超时加载，让程序不在奔溃，同时能准确的获取信息。 首先需要区分两种超时情况，一种是页面加载出现的超时，一种是获取页面元素的超时。 对于页面...
Python爬虫新手指南及简单实战
最新发布
4.0啊的博客
08-06 4673
在本文中，我们全面介绍了使用Python和Microsoft Edge浏览器进行网页爬取的过程，从环境准备到编写爬虫代码，再到进阶技巧与问题处理，最后通过实际案例展示了爬虫技术的应用。我们强调了安装selenium库和配置Microsoft Edge WebDriver的重要性，并逐步介绍了如何使用selenium库编写简单的爬虫代码，包括打开浏览器、访问网页、获取网页标题、提取链接和图片等操作。此外，我们还讨论了如何处理动态内容加载、JavaScript弹窗、不同的网页结构以及提高爬取速度等进阶技巧。
Python selenium页面加载慢超时的解决方案
tototototoo的博客
11-04 1575
当执行了get以后，除非网站全部加载完成，否则你只能乖乖等，什么都不能干，这是整个程序是阻塞的（单线程），get不完就别想进行下面操作。 这个等待可能是5分钟或者更久则会出现timeout报错。 driver.set_page_load_timeout(5) driver.set_script_timeout(5) 设置后，5秒后网页确实停止了，但是driver也死了，直接报错timeout。 下面是另一种解决办法 desired_capabilities = DesiredCapabilit
selenium设置超时时间
he_ranly的博客
04-17 6677
利用selenium请求网页的时候，有时因为某种原因使得页面一直处于加载状态，使得源代码一直不能返回。这种情况可以全局设置driver的加载时间，超时后停止加载然后强制返回源代码。 driver = webdriver.Chrome() 初始化driver对象后，设置一下两个超时时间 driver.set_page_load_timeout(10) #页面加载超时时间 driver.se...
Capabilities & ChromeOptions
C'mon的博客
06-28 489
默认情况下，ChromeDriver将为每个会话创建一个新的临时配置文件。有时，您可能想要设置特殊的首选项，或者只需使用自定义配置文件即可。如果是前者，您可以使用“chrome.prfs”功能（稍后介绍）来指定chrome启动后将应用的首选项。
python爬虫实战日记.zip
01-08
python爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记....
python爬虫实战练习手册.zip
12-30
《Python爬虫实战练习手册》是一本专注于Python网络爬虫技术的实践教程，旨在帮助读者深入理解并掌握Python爬虫的各个核心知识点。通过实际操作和案例解析，本书旨在提升读者在数据抓取、处理和分析方面的能力。下面...
Python爬虫实战案例
06-03
这是近期做过的一个Python爬虫的实战案例，已经在博客中记录，详见：https://xiexu.blog.csdn.net/article/details/130935199。建议结合专栏【小小的项目 (实战+案例) 】学习，效果会更好哦！
Python爬虫实战：数据采集、处理与分析
12-18
Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据...
使用selenium实现web自动化（三）-----输入用户名密码登录
waldon2017的博客
04-21 1439
使用selenium实现web自动化（三）-----输入用户名密码登录
(python爬虫)-selenium的常规操作并爬取拉勾网信息
foreverzo的博客
03-09 571
爬虫小练习，selenium有段时间没用了，以拉钩为例重温下，本文较为详细的总结了操作selenium的常规用法，总共四部分，前三部分常规操作，最后一部分贴出完整爬取拉钩信息并简单存储Redis数据库的代码。 话不多说，本次以操练selenium为主要目的，对selenium常用操作进行简单的梳理，不再赘述selenium的安装操作。 本次选用selenium+chromedriver进行操作，在...
Selenium 如何使用代理 IP 进行 Web 爬虫（包括无认证实现、有账号密码认证实现）
Lorin 洛林的后端技术小站
01-02 3004
本文介绍了 Selenium 使用无账号和有账号密码进行代理爬虫的方式，无账号密码主要基于浏览器 --proxy-server 参数实现，而有账号密码的方式基于 Selenium-Chrome-HTTP-Private-Proxy 插件实现；同时分享了一种免费获取代理IP的方式（一连代理），感兴趣的朋友可以试试。
【Selenium】docker-chrome执行wap模式的问题与解决方法
2024 做自己的太阳
04-23 1601
unknown error: cannot parse capability: chromeOptions from unknown error: cannot parse mobileEmulation from unknown error: 'iPhone 6' must be a valid device from unknown error: must be a valid device ...
新榜榜单爬虫案例
李玺
07-12 2860
本篇案例内容是采集新榜榜单数据。包括微信榜、微博榜、抖音榜、快手榜、bilibili榜、资讯等。 网站链接：https://www.newrank.cn/public/info/list.html?period=day&type=data 文章目录流程分析Js示例采集示例完整代码 流程分析 通过控制台抓包查看接口 formdata中有两个加密参数 通过ctrl+F全局搜索nonce和xyz关键字。 adow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaX
Python+selenium自动化：页面加载慢、超时加载情况下内容已经加载完毕的快速执行脚本解决方案，页面加载时间过长优化方案
小蓝枣的博客
03-30 2870
driver.set_page_load_timeout(3) 页面加载时间设置 3 秒，执行到某一步涉及页面加载如果加载时间超过 3 秒就会停止加载并抛出异常，其实这个时候页面内的元素已经加载出来了，我们在这一步进行异常捕获不让程序停止，然后直接执行下一步即可。 set_page_load_timeout() 设置在抛出错误之前等待页面加载完成的时间。 set_script_timeout() 设置脚本在execute_async_script调用期间抛出错误之前应该等待的时间。
python爬虫等待网页加载_Python selenium页面加载慢超时的解决方案
weixin_39853210的博客
11-26 1444
开发环境：win10-64 python2.7.16 chrome77from selenium import webdriverdriver = webdriver.Chrome(executable_path='chromedriver.exe')driver.get('http://全部加载完成超级慢的网站')user = 'abc'pwd = '123driver.find_eleme...
python 爬虫实战
08-27
Python爬虫实战是指使用Python编写程序来实现对网页的自动抓取和数据提取的过程。通过爬虫技术，我们可以从网页中获取所需的数据，并将其用于各种用途，例如数据分析、数据可视化、机器学习等。在实践中，我们通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值