2024年最新爬虫的第一个入门小例子 —— 爬取作者主页的文章标题

于 2024-05-02 10:59:06 发布
阅读量745 收藏 26
点赞数 8
分类专栏： 程序员 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84561579/article/details/138388758
版权

import random

user_agent = [

“Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”,

“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”,

“Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0”,

“Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko”,

“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)”,

“Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)”,

“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)”,

“Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1”,

“Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1”,

“Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11”,

“Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11”,

“Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)”,

“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)”,

“Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5”,

“Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5”,

“Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5”,

“Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1”,

“MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1”,

“Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10”,

“Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13”,

“Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+”,

“Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0”,

“Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124”,

“Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)”,

“UCWEB7.0.2.37/28/999”,

“NOKIA5700/ UCWEB7.0.2.37/28/999”,

“Openwave/ UCWEB7.0.2.37/28/999”,

“Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999”,

iPhone 6：

“Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25”,

]

随机获取一个请求头

def getHeader():
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84561579
关注
  • 8
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
知网爬虫——爬取某个主题下的文章标题以及发表时间
Penkace的博客
03-16 5008
前几天帮朋友做了个知网的爬虫，爬取了“新闻传播”主题下的文章标题及发表时间；自己拖拖拉拉写了2天才写完，自己还是太弱了。个人认为这个作为一个练手的爬虫小项目还是不错的，于是写了主要的步骤，代码放在我的github，有需要的朋友可以去看看或者有改进的地方指点我一下，github链接我的github——知网爬虫 。 1. 爬虫知网的爬虫首先要找到合适的知网爬虫入口，建议从这个链接进入知网入口...
python手写体识别数据集
03-13
python手写体识别数据集，包括4个文件夹t10k-images-idx3-ubyte.gz，t10k-labels-idx1-ubyte.gz，train-images-idx3-ubyte.gz，train-labels-idx1-ubyte.gz
使用KNN算法在python下识别手写数字（带注释）
yuzhiyun3536的专栏
07-16 843
# -*- coding: utf-8 -*- #pip install numpy import os import os.path from numpy import * import operator import time from os import listdir """ 描述： KNN算法实现分类器 参数： inputPoint：测试集...
Python 手写体识别
lidongxx的博客
04-09 1820
import urllib import base64 import requests import time time1=time.time() host = '自己申请' request = urllib.request.Request(host) request.add_header('Content-Type', 'application/json; charset=UTF-8') res...
基于Python神经网络的手写字体识别
Albert_yeager的博客
03-31 1532
本文将分享实现手写字体识别的神经网络实现，代码中有详细注释。
Python手写体数字识别
01-25
基于sklearn的手写体数字识别
Python爬虫小例子——爬取51job发布的工作职位
12-17
所以两者形影相随，不离不弃，本文主要以一个简单的小例子，简述Python在爬虫方面的简单应用，仅供学习分享使用，如有不足之处，还请指正。 涉及知识点 本例主要爬取51job发布的工作职位，用到的知识点如下： 开发...
我的第一个爬虫项目——爬取公告信息和附件
04-10
如题。爬取网站公告，和附件。对内容简单分析记录
Python网络爬虫与信息提取（6）—— 爬取csdn个人博客数据信息
01-20
上一节爬取了网络图片，写的不过瘾，最近发文访问量破1W了，主页看不到具体的访问量数有点小苦恼，刚好写个脚本来解决这个问题，练练手。 技术框架 bs4 + requests库 bs4教程：Python中使用Beautiful Soup库的超...
python 数字手写体识别
08-17
python入门数字手写体识别，用python编程实现基于tensorflow的数字手写体识别的识别部分，
Python手写体数字识别——带详细注释
03-17
使用BP算法的神经网络手写体数字识别，使用Python语言编写，包含四个文件：训练模块，测试模块，图像显示模块还有一个最简单的神经网络模型。希望对大家有帮助。
手写体数字识别(Python+TensorFlow)
06-05
使用Python+TensorFlow，全连接的神经网络，基于MNIST数据集。数据集包含60000张训练图片，10000张测试图片。MNIST_model文件夹是已经训练30000次的模型，也可以自己再训练。app.py文件可以测试自己的图片。 也可以到github下载 https://github.com/BuXianShan/Handwritten-Numeral-Recognition
python实现KNN手写字体识别Demo
11-11
python实现K进邻算法对手写数字识别的一个小Demo，含代码和数据集。适合刚入门的小白。棒棒棒棒棒棒棒棒棒棒棒棒
Python手写数字识别代码-手写板
03-02
使用Python基于TensorFlow 卷积神经网络设计手写数字识别算法，并编程实现GUI 界面，构建手写数字识别系统。本系统界面设计友好，功能完善。通过测试，本识别系统对于较规范的手写体数字的识别达到了很好的识别效果。此程序配合已训练成功的model.h5即可使用，model.h5已上传至此博客，后续将继续上传神经网络训练程序。
pyhton爬虫：三种爬取csdn首页所有文章的方法
01-20
1. 爬取csdn首页所有文章 1.1 方法1 import urllib.request import re\nurl='http://blog.csdn.net/' #伪装浏览器 headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0； WOW64) AppleWebKit/537.36 (KHTML, like ...
python实现手写体数字识别
dong_2132的博客
12-09 1724
实验：实现手写体识别 手写体识别 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import pylab 读入数据集(如果没有则在线下载)，并转换成独热编码 mnist = input_data.read_data_sets(“MNIST_data/”, one_hot=True) x = tf.placeholder(tf.float32, [None, 784])  # 占位
python 手写体数字识别
黑马程序员广州中心的专栏
01-16 210
from os import listdir from numpy import * import time import operator def classify(inputPoint,dataSet,labels,k): dataSetSize = dataSet.shape[0] #已知分类的数据集（训练集...
java版web搜索爬虫系统,Java开源爬虫框架WebCollector教程——爬取搜索引擎
最新发布
05-30
好的，您想了解关于Java版Web搜索爬虫系统和Java开源爬虫框架WebCollector的教程，主要是如何爬取搜索引擎的内容，对吗？那我来给您介绍一下。 WebCollector是一款Java开源爬虫框架，它基于Jsoup解析库，提供了一系列简单易用的API，可以帮助用户快速开发爬虫程序。WebCollector可以用于爬取各种类型的网站，包括搜索引擎。 下面是一个简单的WebCollector爬虫程序示例，可以用来爬取百度搜索结果页面的内容： ```java import cn.edu.hfut.dmic.webcollector.model.Page; import cn.edu.hfut.dmic.webcollector.net.HttpRequest; import cn.edu.hfut.dmic.webcollector.net.HttpResponse; import cn.edu.hfut.dmic.webcollector.net.Requester; import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler; public class BaiduSearchCrawler extends BreadthCrawler { public BaiduSearchCrawler(String crawlPath, boolean autoParse) { super(crawlPath, autoParse); this.addSeed("https://www.baidu.com/s?wd=webcollector"); } public void visit(Page page, HttpRequest httpRequest, HttpResponse httpResponse) { System.out.println(page.getHtml()); } public static void main(String[] args) throws Exception { BaiduSearchCrawler crawler = new BaiduSearchCrawler("crawl", true); crawler.setThreads(10); crawler.start(2); } } ``` 在这个示例中，我们定义了一个名为BaiduSearchCrawler的类，它继承自BreadthCrawler类。在BaiduSearchCrawler的构造函数中，我们指定了爬虫程序的爬取路径和是否自动解析网页内容。然后，我们使用addSeed()方法添加了一个种子URL，这个URL是百度搜索webcollector的结果页面。 在visit()方法中，我们定义了爬取页面时的处理逻辑，这里我们只是简单地将页面内容打印出来。在main()方法中，我们创建了一个BaiduSearchCrawler对象，设置了线程数为10，并启动了爬虫程序。 当您运行这个程序时，它将会爬取百度搜索webcollector的结果页面，并将页面内容打印出来。 当然，实际的爬虫程序往往比这个示例要复杂得多，需要考虑到各种情况和异常处理。但是，WebCollector的API非常简单易用，您可以根据自己的需求快速开发出符合要求的爬虫程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值