Python3爬虫实战 — 模拟登陆CSDN并自动保存文章

最新推荐文章于 2024-07-24 16:36:32 发布
最新推荐文章于 2024-07-24 16:36:32 发布
阅读量966 收藏 4
点赞数 1
分类专栏： python python爬虫 文章标签： python selenium xpath
本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可
本文链接：https://blog.csdn.net/weixin_45742830/article/details/108330370
版权

Python3爬虫实战 — 模拟登陆CSDN并发布或保存文章

爬虫时间：2020-08-31
请求链接：https://passport.csdn.net/login?code=public
实现目标：模拟登陆CSDN,自动保存文章
涉及知识：自动化测试工具 Selenium 的使用
完整代码：https://github.com/dateolive/python-crawler/tree/master/csdn
学习过程中的爬虫GitHub库：https://github.com/dateolive/python-crawler

爬虫思路如下：

  • 分析登录页面，csdn的登录页面一开始是微信扫码登录，我们需要通过XPath找到账号密码登录的点击按钮，实现模拟点击跳转到账号密码登录的页面
  • 之后使用Selenium工具模拟输入账号密码，并点击登录(我在写这个爬虫的时候，csdn没有验证码验证，如果后面需要验证码了，可以仿照我的其他文章对验证码识别对抗即可)
  • 登录之后，找到创作中心的按钮，点击跳转，之后再点击markdown编辑器按钮，此时浏览器会打开一个新的标签，这个时候我们需要更新下当前句柄，通过browser.switch_to.window(n[-1])选择新打开的页面，后面的操作在这个窗口实现
  • 此时我们已经进入编写文章，找到对应的标题输入框和正文输入框，我们首先应该先把这两个输入框的内容清空，然后再输入对应信息，最后，我们可以选择点击保存草稿，也可以选择发布文章，我这里只写了保存草稿，发布文章的后续操作也差不多，就是一直模拟点击即可

一.准备工作

忘记密码了，重新修改密码QAQ。。😂

二.爬虫构建

1.初始化函数

    def __init__(self):
        self.url = 'https://passport.csdn.net/login?code=public'
        self.browser = webdriver.Chrome()
        self.browser.maximize_window()
        self.wait = WebDriverWait(self.browser, 20)
        self.username = USERNAME
        self.password = PASSWORD
        self.title=TITLE
        self.article=ARTICLE

这里定义了发起请求的url、用户名、密码，文章标题，文章正文等全局变量，实例化 Chrome 浏览器、设置浏览器分辨率最大化、用户名、密码、同时也设置等待超时

2.登录函数

    def open(self):
        """
        打开网页输入用户名密码
        :return: None
        """
        self.browser.get(self.url)
        #进去之后，先要点击账号密码登录，跳过微信登录的页面
        self.browser.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[2]/div[5]/ul/li[2]/a').click()
        time.sleep(2)
        email = self.wait.until(EC.presence_of_element_located((By.ID, 'all')))
        password = self.wait.until(EC.presence_of_element_located((By.ID, 'password-number')))
        email.send_keys(self.username)
        time.sleep(2)
        password.send_keys(self.password)
        login_btn = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'button.btn.btn-primary')))
        # 随机暂停几秒
        time.sleep(random.random() * 3)
        # 点击登陆按钮
        login_btn.click()

通过XPath找到账号密码登录的点击按钮，实现模拟点击跳转到账号密码登录的页面，等待账号输入框和密码输入框对应的 ID 节点加载出来，然后获取对应节点，其中账号输入框 id=“all”，密码输框id=“password-number”，通过调用 send_keys() 方法输入账号和密码，接着获取登录按钮 ，设置暂停时间，最后调用 click() 方法实现登录按钮的点击。

3.自动化编写文章

  def write(self):
        time.sleep(3)
        self.browser.find_element_by_xpath('//*[@id="csdn-toolbar"]/div/div[3]/div[1]/a').click()
        time.sleep(2)
        self.browser.find_element_by_xpath('//*[@id="app"]/div/div[1]/div[1]/div[1]/a[1]/span').click()
        time.sleep(2)
        n = self.browser.window_handles  # 这个时候会生成一个新窗口或新标签页的句柄，代表这个窗口的模拟driver
        print('当前句柄: ', n)  # 会打印所有的句柄
        self.browser.switch_to.window(n[-1])
        delete1=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[1]/div/div[2]/input')))
        delete1.clear()
        time.sleep(1)
        title=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[1]/div/div[2]/input')))
        title.send_keys(self.title)
        time.sleep(2)
        delete2=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[2]/div/div[2]/div[1]/div[2]/pre')))
        delete2.clear()
        time.sleep(2)
        message=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[2]/div/div[2]/div[1]/div[2]/pre')))
        message.send_keys(self.article)
        keep=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[1]/div/div[3]/button[1]')))
        keep.click()

登录之后，通过XPath找到创作中心的按钮，点击跳转，之后再点击markdown编辑器按钮，此时浏览器会打开一个新的标签，这个时候我们需要更新下当前句柄，通过browser.switch_to.window(n[-1])选择新打开的页面，找到对应的标题输入框和正文输入框，我们首先应该先把这两个输入框的内容清空，然后再输入对应信息，点击保存草稿

三.爬虫完整代码

import random
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

USERNAME = '2448282543@qq.com'
PASSWORD = '密码'
TITLE='模拟登录csdn并发布文章'
ARTICLE='这是一篇水文，爬虫测试'

class CrackTouClick():
    def __init__(self):
        self.url = 'https://passport.csdn.net/login?code=public'
        self.browser = webdriver.Chrome()
        self.browser.maximize_window()
        self.wait = WebDriverWait(self.browser, 20)
        self.username = USERNAME
        self.password = PASSWORD
        self.title=TITLE
        self.article=ARTICLE


    def open(self):
        """
        打开网页输入用户名密码
        :return: None
        """
        self.browser.get(self.url)
        #进去之后，先要点击账号密码登录，跳过微信登录的页面
        self.browser.find_element_by_xpath('//*[@id="app"]/div/div/div[1]/div[2]/div[5]/ul/li[2]/a').click()
        time.sleep(2)
        email = self.wait.until(EC.presence_of_element_located((By.ID, 'all')))
        password = self.wait.until(EC.presence_of_element_located((By.ID, 'password-number')))
        email.send_keys(self.username)
        time.sleep(2)
        password.send_keys(self.password)
        login_btn = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'button.btn.btn-primary')))
        # 随机暂停几秒
        time.sleep(random.random() * 3)
        # 点击登陆按钮
        login_btn.click()
    def write(self):
        time.sleep(3)
        self.browser.find_element_by_xpath('//*[@id="csdn-toolbar"]/div/div[3]/div[1]/a').click()
        time.sleep(2)
        self.browser.find_element_by_xpath('//*[@id="app"]/div/div[1]/div[1]/div[1]/a[1]/span').click()
        time.sleep(2)
        n = self.browser.window_handles  # 这个时候会生成一个新窗口或新标签页的句柄，代表这个窗口的模拟driver
        print('当前句柄: ', n)  # 会打印所有的句柄
        self.browser.switch_to.window(n[-1])
        delete1=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[1]/div/div[2]/input')))
        delete1.clear()
        time.sleep(1)
        title=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[1]/div/div[2]/input')))
        title.send_keys(self.title)
        time.sleep(2)
        delete2=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[2]/div/div[2]/div[1]/div[2]/pre')))
        delete2.clear()
        time.sleep(2)
        message=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[2]/div/div[2]/div[1]/div[2]/pre')))
        message.send_keys(self.article)
        keep=self.wait.until(EC.presence_of_element_located((By.XPATH,'/html/body/div[1]/div[1]/div[1]/div/div[3]/button[1]')))
        keep.click()


    def crack(self):
        """
        破解入口
        :return: None
        """
        self.open()
        self.write()

if __name__ == '__main__':
    crack = CrackTouClick()
    crack.crack()

四.GIF登录图

在这里插入图片描述

梦独吟
关注
专栏目录
Python爬虫之selenium深入解读【从入门到实战】
景天科技苑
12-29 1万+
Selenium在爬虫中占据比较重要的地位。我们在抓取一些普通网页的时候requests基本上是可以满足的. 但是, 如果遇到一些特殊的网站. 它的数据是经过加密的.但是呢, 浏览器却能够正常显示出来. 那我们通过requests抓取到的内容可能就不是我们想要的结果了. 例如,电影票房数据. 在浏览器上看的时候是正常的. 那么按照之前的逻辑. 我们只需要看看数据是通过哪个请求拿到的就可以进行模拟请求了. 但是数据找到了.结果是经过加密算法的
python 爬虫模拟登陆csdn
12-18
python 模拟登陆csdn 基于selenium
python 模拟登陆csdn
大蛇王的博客
12-12 529
模拟用户登陆并提交用户信息，关键是找到相关元素，并给相关元素填充用户信息，webdriver+phontomjs(无界面浏览器)可以很好的做到这些。 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities import reque
Python3网络爬虫开发实战（2）爬虫基础库
最新发布
bigcrab的博客
07-24 1778
urllib，requests，httpx，实战（正则，多进程）
python模拟登录csdn
aa1049372051的专栏
07-21 7319
# python3.3 可以登录成功 import urllib.parse, urllib.request, http.cookiejar, re import tools cookie = http.cookiejar.CookieJar() cookieProc = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.req
python3版本爬虫系列之模拟登陆CSDN
CSDN__DRAGON的博客
12-06 520
import urllib.request import urllib values = {} values['username'] = "1016903103@qq.com" values['password'] = "XXXX" data = urllib.parse.urlencode(values) url = "http://passport.csdn.net/account/login
Python模拟登陆CSDN
wayneco123的博客
10-30 385
找到CSDN登录页， 先打开Google审查工具，键入错误用户名密码，登入CSDN，找到合适参数 找到后即可设置，代码如下： import urllib.parse import urllib.request import http.cookiejar #设置请求头 headers = { 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKi...
32个Python爬虫实战项目，满足你的项目慌
11-15 4959
爬虫项目名称及简介 一些项目名称涉及企业名词，小编用拼写代替 1、【WechatSogou】- weixin公众号爬虫。基于weixin公众号爬虫接口，可以扩展成其他搜索引擎的爬虫，返回结果是列表，每一项是公众号具体信息字典。 2、【DouBanSpider】- douban读书爬虫。可以爬下豆瓣读书所有图书，按评分排名依次存储，存储到Excel中，比如筛选评价人数>1000的高分段书籍；可依据不同的类别存储到Excel不同的分类 ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的
Python爬虫实战——反爬策略之模拟登录【CSDN】
WoLykos
12-23 1956
在《Python爬虫实战—— Request对象之header伪装策略》中，我们就已经讲到：“在header当中，我们经常会添加两个参数——cookie 和 User-Agent，来模拟浏览器登录，以此提高绕过后台服务器反爬策略的可能性。” User-Agent已经讲过，这篇我们则主要讲cookie的使用案例。 通俗地讲：User-Agent的作用是模拟浏览器，cookie的作用是模拟登陆，所以...
一、最简单的爬虫（python3 爬虫小白系列文章）
热门推荐
weixin_42530834的博客
06-23 5万+
运行平台： Windows Python版本： Python3.x IDE： Pycharm 2017.2.4 看了崔老师的python3网络爬虫实战，受益匪浅，为了帮助自己更好的理解这些知识点，于是打算趁着这股热乎劲，针对爬虫实战进行一系列的教程。 阅读文章前，我会默认你已经具备一下几个要素 1.python3安装完毕 Windows： https://www....
python3爬虫实战（二）：用Appium抓取手机app微信的数据
Fan_shui的博客
08-07 9837
一、前言 上一篇小说爬的是电脑端的静态网址，一直想爬手机端app数据的抓取，研究有好几天了，在网上也找了各种教程，差点挂在appium的环境安装。本编教程从appium的环境配置开始到抓取手机app微信朋友圈结束。 二、参考博文 以下网址对于这篇教程非常重要，感谢分享 悠悠博主appium+python环境搭建：https://www.cnblogs.com/yoyoketa...
详解python项目实战:模拟登陆CSDN
12-31
前言 今天为大家介绍一个利用Python模拟登陆CSDN的案例,虽然看起来很鸡肋,有时候确会有大用处,在这里就当做是一个案例练习吧,提高自己的代码水平,也了解Python如何做到模拟登陆的, 下面来看代码 导入库 获取头部信息 解析网页 返回登录过后的session 检测是否登陆正常 运行结果 以上所述是小编给大家介绍的python项目实战:模拟登陆CSDN详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对软件开发网网站的支持！ 您可能感兴趣的文章:详解Python的数据库操作（p
利用Python模拟登陆CSDN
Sevieryang/FinTech/Statistics/Quant
04-02 191
<!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-...
Python模拟登录CSDN
zhangweiguo_717的博客
10-01 1253
Python模拟登录CSDN
python爬虫CSDN文章抓取
weixin_30300225的博客
05-27 487
CSDN原则上不让非人浏览访问，正常爬虫无法从这里爬取文章，需要进行模拟人为浏览器访问。 使用：输入带文章的CSDN链接自动生成正文的HTML，文件名为标题名 #!/usr/bin/env python # coding=utf-8 ######################################### #> File Name: CS...
python3 实例_Python3模拟登录操作实例分析
weixin_39863631的博客
11-26 164
本文实例讲述了Python3模拟登录操作。分享给大家供大家参考，具体如下：模拟登录_要求：1. 用户输入账号密码进行登录2. 用户信息保存在文件内3. 用户密码输入错误三次后锁定用户逻辑图：代码：#!/usr/bin/env python3# Author:Robert# --*-- coding: utf-8 --*--count = 0 #记录试错次数，计数项赋初始值load = True ...
Python3爬虫实战：从入门到精通视频教程
"这是一个关于Python3网络爬虫的实战课程，包含视频、文档和源码，旨在教授如何构建和使用爬虫。课程分为五个部分：环境配置、基础篇、实战篇、框架篇和分布式篇，全面覆盖了从入门到进阶的爬虫知识。" 在【环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值