爬虫HelloWorld：爬取博客园某博主所有文章

最新推荐文章于 2023-04-01 23:40:49 发布
最新推荐文章于 2023-04-01 23:40:49 发布
阅读量700 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TQCAI666/article/details/80153411
版权

先定一个小目标：爬取所有文章标题，其他的属性以后再操作

  • 代码
import requests
from bs4 import BeautifulSoup

link = "http://www.cnblogs.com/planche/default.html"
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',
    'Host': 'www.cnblogs.com'
}

if __name__ == '__main__':
    pos=1
    while(True):
        key_dict = {
  'page'
最低0.47元/天 解锁文章
数学工具构造器
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hexo+Github: 博客网站搭建完全教程(看这篇就够了)
sunhwee的博客
08-28 2526
文章目录阅读须知博客开源前言第一部分 搭建Hexo搭建步骤1. 安装Git2. 安装nodejs**添加国内镜像源**3. 安装Hexo4. 注册Github账号创建个人仓库5. 生成SSH添加到GitHub6. 将hexo部署到GitHub7. 设置个人域名8. 写文章、发布文章第二部分 定制1. Hexo相关目录文件1.1 博客目录构成介绍1.2 hexo基本配置1.2.1 网站1.2.2...
【文末送书】Python爬虫技术
仅以此博客记录日常学习工作中所思所得，水平有限，难登大雅，万望海涵。
10-13 2254
本书介绍了Python3网络爬虫的常见技术。首先介绍了网页的基础知识，然后介绍了urllib、Requests请求库以及XPath、Beautiful Soup等解析库，接着介绍了selenium对动态网站的爬取和Scrapy爬虫框架，最后介绍了Linux基础，便于读者自主部署编写好的爬虫脚本。本书所有代码和相关素材可以到GitHub下载获取，地址为。
爬虫html转换成pdf,爬虫实战【3】Python-如何将html转化为pdf(PdfKit)
weixin_34249113的博客
06-02 225
前言前面我们对博客园的文章进行了爬取，结果比较令人满意，可以一下子下载某个博主的所有文章了。但是，我们获取的只有文章中的文本内容，并且是没有排版的，看起来也比较费劲。。。咋么办的？一个比较好的方法是将文章的正文内容转化成pdf，就不要考虑排版的事情了，看起来比较美观，也不会丢失一些关键信息。python中将html转化为pdf的常用工具是Wkhtmltopdf工具包，在python环境下，pdfk...
python爬虫网页pdf_爬虫实战【3】Python-如何将html转化为pdf(PdfKit)
weixin_39567046的博客
11-29 161
前言前面我们对博客园的文章进行了爬取，结果比较令人满意，可以一下子下载某个博主的所有文章了。但是，我们获取的只有文章中的文本内容，并且是没有排版的，看起来也比较费劲。。。咋么办的？一个比较好的方法是将文章的正文内容转化成pdf，就不要考虑排版的事情了，看起来比较美观，也不会丢失一些关键信息。python中将html转化为pdf的常用工具是Wkhtmltopdf工具包，在python环境下，pdfk...
[导入]如何构造一个C#语言的爬虫蜘蛛程序
09-17 106
C#特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题： 　　⑴ HTML分析：需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。 　　⑵ 页面处理：需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘，或者进一步分析处理。 　　⑶ 多线程：只有拥有多线程能力，蜘...
python基础笔记，超详细，包含面向对象基础，爬虫实战【持续更新中...】
weixin_63028438的博客
04-01 1799
本笔记中的函数和方法同义本笔记概念及代码由newbing搜集整理得出本笔记适合有一定其他编程语言基础的同学，因为笔记中省略了部分基础概念（比如整型，浮点型等基本数据类型的介绍）如果有错误，欢迎在评论区指出，我会尽快修正Python 与 C/C++、Java 这些 C 类语言不同，Python 使用缩进来表示代码块，缩进的空格数量可以由个人习惯决定，但同一个代码块的缩进空格数必须相同。 上面程序的 if 部分和 else 部分缩进不相同，但是在各自的代码块内缩进是相同的，所以是正确的程序。Python 的代码
爬虫实战【3】Python-如何将html转化为pdf(PdfKit)
weixin_30244889的博客
11-23 253
前言 前面我们对博客园的文章进行了爬取，结果比较令人满意，可以一下子下载某个博主的所有文章了。但是，我们获取的只有文章中的文本内容，并且是没有排版的，看起来也比较费劲。。。 咋么办的？一个比较好的方法是将文章的正文内容转化成pdf，就不要考虑排版的事情了，看起来比较美观，也不会丢失一些关键信息。 python中将html转化为pdf的常用工具是Wkhtmltopdf工具包，在python环境下，p...
促使网站快速收录的一些方法,超详细
sevin的博客
04-28 3347
网站快速收录的5点超详细的建议，满满干货
【三万粉丝终极福利】Python、C、Java三大语言学习路线和资源整理
热门推荐
五包辣条的博客
11-12 2万+
大家好，我是辣条。 今天给大家带来三万粉丝三大语言学习路线和资源整理，收藏就对了。 目录 C语言 学习路线 学习书籍 学习视频 资源推荐 Java语言 学习路线 学习书籍 学习视频 资源推荐 Python语言 学习路线 学习书籍 学习视频 资源推荐 C语言 学习路线 学习书籍 学习视频 资源推荐 Java语言 学习路线 学习书籍 学习视频 资源推荐 Python语言 学习路线 学习书籍 学习视频 资源推荐
解决selenium传入cookies错误：InvalidCookieDomainException: Message: Cookies may only be set for the curre
using namespace 数学工具构造器;
04-11 1万+
这是因为cookies的domain不同造成的。去掉含有多余domain的cookie，不再报错。 def getPureDomainCookies(cookies): domain2cookie={} #做一个域到cookie的映射 for cookie in cookies: domain=cookie['domain'] if domain ...
使用selenium爬取动态网页评论
using namespace 数学工具构造器;
05-02 829
爬取网站：http://www.santostang.com/2017/03/02/hello-world/ 首先定位到frame： 通过Ctrl+Shift+C定位，并且搜索frame，定位框架所在位置： 找到HTML代码： < iframe title = "livere" scrolling = "no" src = "https:/...
小工具：根据剪切板中的url生成markdown代码
using namespace 数学工具构造器;
06-01 708
参考博客：爬CSDN博客 - CSDN博客 在博客写作中，我经常遇到这样一个问题：当我需要挂出一些网站链接，比如参考博客或者OJ链接的时候，需要用这样 [爬CSDN博客](https://blog.csdn.net/qq_17172105/article/details/53931874) 的markdown语法形式去展示。但是复制网页标题和url的操作十分繁琐，也十分麻瓜。于是我用...
爬取某github用户所有repo
using namespace 数学工具构造器;
04-12 675
from selenium import webdriver profile=webdriver.FirefoxOptions() profile.add_argument('-headless') #设置无头模式 browser=webdriver.Firefox(options=profile) user='用户名' url=f'https://github.com/{user}?tab=...
项目：对github的repo进行树形分类
using namespace 数学工具构造器;
04-15 538
文章目录需求编码数据获取数据存储repo_mysql.pyscrap_github.py树形归类成果 需求 数据获取 使用selenium从github爬取repo信息，为5元组(url,name,lauguage,description,fork) 数据存储 存放在关系型数据库github_repo_db中，对于用户username，存放在表username中，name为主属性，表结构为(ur...
selenium表单提交
using namespace 数学工具构造器;
05-05 403
用百度搜索引擎进行搜索 用谷歌搜索引擎进行搜索 使用百度翻译 用百度搜索引擎进行搜索 from selenium import webdriver from selenium.webdriver.firefox.firefox_binary import FirefoxBinary import os link=''' https://www.baidu.com/ ''' ...
0729信息技术服务知识12.pdf
07-30
0729信息技术服务知识12.pdf
2024贵州省河流水系矢量图层shp数据最新版下载-带python代码
最新发布
07-30
2024贵州省河流水系矢量图层shp数据下载-包含水系线和水系面数据，几千上万条数据，非常细化，附带shp转geojson的python代码
【SCI顶级】鱼鹰算法OOA-CNN-LSTM-Multihead-Attention温度预测【含源码 5769期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
【SCI顶级】遗传算法GA-CNN-LSTM-Multihead-Attention温度预测【含源码 5766期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值