Task04-简单的python爬虫

最新推荐文章于 2024-07-12 16:42:46 发布
最新推荐文章于 2024-07-12 16:42:46 发布
阅读量105 收藏
点赞数
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61972395/article/details/125898598
版权

request 对网页Requests进行爬取 可以下载txt文件、下载图片、html解析

  • re.status_code 响应的HTTP状态码
  • re.text 响应内容的字符串形式 用于文本内容的获取、下载
  • rs.content 响应内容的二进制形式 用于图片、视频、音频等内容的获取、下载
  • rs.encoding 响应内容的编码 常见的编码方式有 ASCII、GBK、UTF-8 等

 

 

 

 BeautifulSoup可以从HTML或XML文件中提取数据的Python库

find()方法和find_all()方法：

  • find() 返回符合条件的首个数据
  • find_all() 返回符合条件的所有数据

 项目练习

 

 

m0_61972395
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
打开我的收藏夹 -- Python爬虫篇
看，未来的博客
03-29 6900
文章目录前言线程锁retrying模块aiohttp模块requests-html模块获取网页源码获取链接获取元素JavaScript支持！！！ 前言 这两天都没更新啥哈，太忙了。 今天这篇会比较特殊一些，因为爬虫我会的也写的差不多了，但是我还有一个背后隐藏能源还没拿出来用呢！！！ 今天就打开这个隐藏能源，这可是一个大佬多年呕心沥血打造的，看看我能从中学到多少东西。 线程锁 哈哈，先来就讲这个和爬虫“不太沾边”的东西，是不是不好啊。 其实是很有关系的啦。如果你要靠自己大批量爬取内容，肯定是离不开多线程..
python爬虫编程实践 Task1--简单爬虫
Ajihappyer的博客
04-21 646
一个网络爬虫程序最普遍的过程： 1.访问站点； 2.定位所需的信息； 3.得到并处理信息。 示例1：爬取python之禅（The Zen of Python） requests.get 获取HTML网页的主要方法，对应于HTTP的GET import requests url = 'https://www.python.org/dev/peps/pep-0020/' r = requests.ge...
2021-04-07 python爬虫自学——异步爬虫
weixin_45921943的博客
04-09 133
import time #使用单线程串行方式执行 def get_page(str): print("正在下载：",str) time.sleep(2) print("下载成功：",str) name_list=['xiaozi','aa','bb','cc'] start_time=time.time() for i in range(len(name_list)): get_page(name_list[i]) end_time=time.time() print('
使用 Python + xxl-job 构建爬虫系统
J_bean的博客
04-11 1093
使用 Python + xxl-job 构建爬虫系统
python爬虫-异步爬虫
dayexiaofan的博客
11-03 2293
对异步爬虫从概念学习，到进阶，再到实例
python-基础分布式爬虫
qq_41121485的博客
09-21 570
python-基础分布式爬虫，分布式爬虫笔记，BaseManager
Stage6--Python简单爬虫
水寒
07-31 1732
正则表达式简单介绍正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。字符 [a-z] 数字 [0-9] 或 \b* 匹配前面的子表达式零次或多次 + 匹配前面的子表达式一次或多次 ? 匹配前面的子表达式零次或一次一个简单爬虫例子import re import u
简单的python爬虫
weixin_44336912的博客
07-21 2872
对于自动化办公而言，网络数据的批量获取可以节约相当的时间，因此爬虫在自动化办公中占据了一个比较重要的位置。因而本节针对一个爬虫项目进行介绍，力求最大程度还原实际的办公场景。Requests是一款目前非常流行的http请求库，使用python编写，能非常方便的对网页Requests进行爬取，也是爬虫最常用的发起请求第三方库。我们一般会使用BeautifulSoup这个第三方库或我们来解析豆瓣读书Top250httpsimportioimportsys.stdoutimportio。......
爬虫实战04--python爬虫爬取糗事百科标题，多线程--面向对象版本(2_3)(面向对象，多线程面向对象，多进程面向对象) (2)
Song_Of_Sea海歌同学的博客
08-21 335
爬虫实战04--爬虫多线程0.0说明：01、运行环境02、开始爬虫02-1、目标02-2、开始抓取内容02-2-1、分析02-3、其他知识02-3-1、队列模块的使用02-3-2、多线程的方法使用02-3-3、多线程实现设计思路生产消费模式单线程爬虫流程多线程爬虫流程实现03、完整代码(多线程面向对象版)04、结语： 0.0说明： 这一个爬取的网站是糗事百科的页面去全部标题！最后是以打印的方式展现的！ 这是第二篇文章，多线程的爬取糗事百科全部标题。一共是有三个版本，我一共会发三篇文章！ 第一篇：上篇，正常
Python 爬虫 性能 相关（ asyncio 模块 --- 高性能爬虫 ）
墨鱼菜鸡
07-11 964
From：https://www.cnblogs.com/bravexz/p/7741633.html 爬虫应用 asyncio 模块 ( 高性能爬虫 )：https://www.cnblogs.com/morgana/p/8495555.html python异步编程之asyncio(百万并发)：https://www.cnblogs.com/sh...
Python爬虫-使用python实现的超高速异步协程爬虫项目.zip
03-09
Python爬虫技术是数据获取和网络自动化的重要工具，尤其在大数据时代，爬虫的重要性日益凸显。本项目聚焦于使用Python实现的超高速异步协程爬虫，旨在提高爬虫的效率和性能，应对大规模网页抓取的需求。下面将详细...
Apollo:python flask vue-element-admin selenium 爬虫 后台
04-07
npm run dev 模型启动在9527端口, 在前端的代码中固定了会通过http请求后端5000端口后端启动 python manage.py 默认监听5000端口启动celery celery -A app.task.spider_tasks worker -l INFO celery 可以执行的任务...
【python爬虫】资源pyspider-v0.3.10
05-16
【Python爬虫】资源pyspider-v0.3.10是一个专注于Python语言的爬虫框架，它为开发者提供了一站式的网络数据抓取、处理、分析以及存储解决方案。pyspider以其易用性、灵活性和强大的功能在Python爬虫领域中占据...
task_Note-python
03-19
它简单易用，是爬虫和Web自动化任务的首选工具。 3. **Web框架**： - **Flask**：轻量级的Web服务框架，适合小型应用。它提供了基础的路由、模板渲染和HTTP请求处理功能。 - **Django**：功能强大的全栈Web框架，...
Python-cola一个分布式爬虫框架
08-10
Python-cola是一个专门为Python开发者设计的分布式爬虫框架，它简化了大规模网络数据抓取的复杂性，使得开发者可以专注于爬虫逻辑的实现，而无需深入理解分布式系统的工作原理。这个框架的核心理念是将复杂的分布式...
Python网络爬虫：Scrapy框架的全面解析
4.0啊的博客
07-07 1947
Scrapy是一个功能强大且灵活的开源网络爬虫框架，它提供了一种高效的方式来爬取网站并提取所需的数据。本文将深入探讨Scrapy框架的核心概念、使用方法以及高级技巧，帮助你更好地理解和应用Scrapy进行网络爬虫的开发。
Python爬虫教程第3篇-解决使用reqeusts遇到的ProxyError异常
分享技术，记录思考和感悟
07-09 631
Python request代理错误提示“HTTPSConnectionPool, Cannot connect to proxy, no such file or directory”
Python应用爬虫下载QQ音乐歌曲！
最新发布
Python_trys的博客
07-12 1146
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970。
Python爬虫-获取懂车帝“指定车型”的销量数据
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
07-09 223
本文是该专栏的第33篇，后面会持续分享python爬虫干货知识。在本专栏之前，笔者有详细介绍关于懂车平台的相关爬虫。对此，感兴趣的同学可以点击翻阅查看。而在本文中，笔者将要介绍的是懂车平台另外一种采集需求——获取“指定车型”的销量数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）
python多线程爬虫大作业-Python多线程爬虫简单示例
05-16
好的，下面是一个简单的Python多线程爬虫示例： ```python import requests import threading from queue import Queue # 定义一个全局变量用来存储爬取到的数据 data = [] # 定义一个线程锁，防止多个线程同时写入数据导致数据错乱 lock = threading.Lock() # 定义一个队列，用来存储待爬取的URL url_queue = Queue() # 定义一个爬取线程类 class CrawlerThread(threading.Thread): def __init__(self, url_queue): super().__init__() self.url_queue = url_queue def run(self): while True: # 从队列中获取一个URL url = self.url_queue.get() try: # 发送请求并解析响应数据 response = requests.get(url) content = response.text # 对响应数据进行处理（此处省略） # ... # 将处理后的数据存入全局变量 with lock: data.append(processed_data) # 标记该URL已被处理 self.url_queue.task_done() except Exception as e: print(f"Error occurred while crawling {url}: {e}") # 如果发生错误，将该URL重新放回队列 self.url_queue.put(url) self.url_queue.task_done() # 定义一个入口函数 def main(): # 初始化待爬取的URL列表 urls = ["http://www.example.com/page{}".format(i) for i in range(1, 11)] # 将URL列表添加到队列中 for url in urls: url_queue.put(url) # 创建多个爬取线程并启动 for i in range(5): t = CrawlerThread(url_queue) t.start() # 阻塞主线程，直到所有URL都被处理完毕 url_queue.join() # 输出爬取结果 print(data) if __name__ == '__main__': main() ``` 以上示例中，我们定义了一个`CrawlerThread`类来表示爬取线程，定义了一个`url_queue`队列来存储待爬取的URL，定义了一个`data`列表来存储爬取到的数据，以及定义了一个`lock`线程锁来保证多个线程访问`data`时不会出现数据错乱的情况。 在`main`函数中，我们首先将待爬取的URL列表添加到`url_queue`队列中，然后创建多个`CrawlerThread`实例并启动它们。最后，我们使用`url_queue.join()`方法来阻塞主线程，直到所有的URL都被处理完毕。 在`CrawlerThread`类的`run`方法中，我们使用`self.url_queue.get()`方法从`url_queue`队列中获取一个URL，然后发送请求并解析响应数据。如果处理过程中出现错误，我们将该URL重新放回队列中，以便后续线程重新处理。如果处理成功，我们将处理后的数据存入`data`列表中，并使用`self.url_queue.task_done()`方法标记该URL已被处理完毕。 需要注意的是，在多线程爬虫中，如果爬取的网站对IP访问频率有限制，可能会导致IP被封禁的情况。因此，在实际应用中，我们需要合理设置线程数量和请求频率，以避免被封禁的情况发生。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值