selenium 手把手教你爬取博客所有文章的标题和链接

最新推荐文章于 2023-11-03 13:52:14 发布
最新推荐文章于 2023-11-03 13:52:14 发布
阅读量1.2k 收藏 8
点赞数 4
分类专栏： 爬虫 文章标签： selenium python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/su_zhen_hua/article/details/109840959
版权

爬取博客所有文章做一个目录

前言
今天想给自己博客搞个目录 方便查看一些，但总不能去打开一篇文章复制一下链接吧，所以就想到用爬虫 爬取标题和链接，我最熟悉的当然是selenium了，话不多说 干。

首先 进入博客

看链接 1是第一页

那么2就是第2页


接下来 定位并分析xpath
我使用的是 xpath-helper 插件, 没有的可以去谷歌下载(本来录了gif图, 但是大于5M无法上传)

copy xpath
<
最低0.47元/天 解锁文章
无情无疫
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python selenium爬取微信公众号文章代码详解
09-16
主要介绍了Python selenium爬取微信公众号历史文章代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
利用python+selenium爬取公众号和知乎文章代码
最新发布
03-25
利用python+selenium爬取公众号和知乎文章代码
一文搞定scrapy爬取众多知名技术博客文章保存到本地数据库，包含：cnblog、csdn、51cto、itpub、jobbole、oschina等...
weixin_30475039的博客
11-08 707
本文旨在通过爬取一系列博客网站技术文章的实践，介绍一下scrapy这个python语言中强大的整站爬虫框架的使用。各位童鞋可不要用来干坏事哦，这些技术博客平台也是为了让我们大家更方便的交流、学习、提高的，大家千万要珍惜哦(-_-)。 本文目录：0、开发环境1、目标介绍2、爬取目标2.1、csdn博客2.1.1 如何判断是否为Ajax方式异步获取的...
selenium获取网页title的不同方法
qq_39135014的博客
11-11 2727
selenium获取网页title的不同方法 #coding=utf-8 import time from selenium import webdriver from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get("http://www.baidu.com") title_name = driver.title if '百度一下' in title_
百日筑基篇——爬取CSDN博客上的文章
2301_78630677的博客
11-03 231
随着博客文章的不断增多，如何对自己的博客文章进行整理变得重要。本章就基于笔者自身的博客，来展示如何爬取博客上的文章url以及其它信息。最后保存为一个csv文件。本章简单整理了一下如何从CSDN博客上爬取文章，并制作了一个简单的爬取小程序。这是一个比较简单的程序，还可以使其功能更加丰富，比如可以直接上传一个存储多个url的文件，来遍历url,而不是一个一个url地去爬取。当然因为主要是对自己的CSDN博客文章的信息爬取，这样也足够了。 无言独上西楼，月如钩… –2023-11-2 进阶篇。
[Python爬虫] 简单网络爬虫抓取博客文章及思想介绍
热门推荐
杨秀璋的专栏
10-04 1万+
前面一直强调Python运用到网络爬虫方面非常有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简单介绍下Python是如何爬去网络数据的,文章知识非常简单,但是也分享给大家,就当简单入门吧!同时只分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要介绍了如何手动爬取新浪播客和CSDN博客的思想和方法.如果有错误或不足之处,请海涵!
selenium必应搜索，获取标题以及url
Cleansely的博客
09-01 1111
必应搜索，获取标题以及url import time from selenium import webdriver from selenium.common.exceptions import NoSuchElementException import urllib.parse def get_content(driver, url): driver.get(url) time.sleep(sleep_time) targets = driver.find_elements_by
python使用selenium和tesseract来爬取电影评分
01-20
python使用selenium和tesseract来获取电影评分总目录工具需求爬取原理安装第三方库上代码结果图写在最后 总目录 使用python来爬取网页信息经常遇到反爬，对于一些加密的信息更是难搞，下载.woff之类的文件再解码对于...
selenium+webdriver爬取百度百科词条
11-14
读取excel中关键字，利用webdriver对关键词进行搜索，将搜索到的百度百科词条保存到excel中。
python selenium爬取斗鱼所有直播房间信息过程详解
09-18
主要介绍了python selenium爬取斗鱼所有直播房间信息过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
爬取博客园文章
07-04
一个基于Python的scrapy爬虫， 主要实现爬取同一博主的所有文章。
简书文章标题、链接的爬取
dalong10的专栏
04-18 760
  @绳系想爬取公众号上的文章标题，可惜我不会。   紧急恶补了一下爬取，试着写了一个小程序，可以爬取绳系的简书文章的标题和链接。记录一下过程。 1、分析页面结构   可以发现需要爬取的 文章在<li>这个标签下， <a>标签为标题和链接， <p>为文章摘要， 下面还有作者名字、点赞数等等， 这里主要需要获取标题、摘要以及文章链接即可。 2、处理获取到的文本   爬虫爬下来的是整个页面的xml文本，需要找到我们所需要的东西还得经过处理才行，这里选择用xpath来处理，
Python爬取新闻网站保存标题、内容、日期、图片等数据
人生苦短， 还不用Python？
11-27 1万+
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 基本开发环境 Python 3.6 Pycharm import requests import parsel import pdfkit import csv import threading 相关模块pip安装即可 确定目标网页 获取数据 标题 内容 保存成PDF 日
python+selenium爬取【加载更多】动态加载方法
cai5的专栏
03-01 3411
#! /usr/bin/env python # -*- coding:utf-8 -*- ''' #需求：获取豆瓣电影中动态加载出更多电影详情数据 #URL:https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action= #思路：喜剧排行榜，ajax请求，20条，页面滚动加载 #浏览器打开网址--模拟浏览器滚动--怎么滚动页面？执行js代码。怎么抓.
Python爬虫解决javascript:void(0)加载查看更多的解决方法
08-13 3168
无论是下拉加载更多内容还是一篇文章内容点击查看更多才能看完全文，都可以使用selenium来解决。下拉加载更多问题有两种解决方法，一种是通过查看是否有接口，通过接口获取所有内容，如果不好找到对应接口，则可以使用selenium；另外就是文章中查看更多内容，有的页面在获取htmlcode后，会显示除完整的文章内容，但是部分网站即时显示所有内容，在抓取的时候仍然获取不到整篇文章。 这里以顺企网的企业黄页内容为例，通过下图可见文字内容过多时，需要通过点击“... 展开”开查看更多...
爬虫学习之动态加载的页面的爬取
huicheng_chen的博客
07-24 1675
首先介绍动态爬取页面的原理和方法：首先使用selenium模仿浏览器获取加载后的页面，然后就可以再对页面进行爬取了 一、工具准备 selenium安装及环境搭建 二、简单的动态页面获取 首先我们通过url来解析页面，再对页面的信息进行爬取 ''' 引入必要的包 ''' from selenium.webdriver import Firefox from selenium.webdri...
python爬虫使用selenium动态加载（下拉加载）爬取取环球网疫情新闻标题和链接，
XYL342300的博客
03-31 2447
当你爬数据的时候有没有遇到过向某个URL请求数据，响应回来的页面源码不全，明明在浏览器打开能看到，可到自己爬的时候就是看不到。其实是因为你爬取的页面是动态网页，很多数据是要加载才能渲染出来的。比如爬取环球网文章页面： 环球网. 这个时候通过request库就不太适合爬取动态网页了。 主流是通过selenium去爬取。 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接
爬虫中使用selenium实现对斗鱼直播的各个房间标题、主播id，直播内容类型和热度信息的爬取
qq_52262831的博客
11-26 2815
每日分享： 千万不要因为别人的否定就开始自我否定，人生本来就是一个主观的过程，别人是否喜欢你，其实是对方世界的事，所以面对别人的不喜欢，不要自卑不要刻意讨好，你要专注的做自己 思路分析： url（网页的url） 创建driver对象 发送get请求 parse data（分析处理数据） save data（保存数据） 翻页 在一个循环中反复执行4、5、6操作，如果到最后一页则跳出循环。 再说一些我写代码遇到的一些问题： 用xpath可以找到你想找的元素，但如果要对其进行点击操作，需要先下
python编程之selenium+chromedriver批量获取资源资源链接
weixin_42417376的博客
08-13 903
selenium下载 我们需要用到selenium作为自动化工具，这里建议使用pycharm作为我们的开发工具，在File->Settings->Project Interpreter中添加selenium package，这样就可以在项目中import selenium了。 如果不使用pycharm，在命令行中输入 pip install selenium 也可以进行安装 chromedriver下载 网上给出了两种方式下载chromedriver： 从淘宝的镜像下载：这里 从官网下载：这里
python爬虫使用selenium同时爬取子网页标题和网址
03-26
以下是使用selenium和BeautifulSoup4库来爬取子网页标题和网址的示例代码： ```python from selenium import webdriver from bs4 import BeautifulSoup # 设置 Chrome 浏览器的位置 chrome_driver_path = "/path/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值