自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(96)
  • 收藏
  • 关注

原创 git中ssh配置密钥

指定密钥长度为4096位(更高的密钥长度意味着更高的安全性)。:指定密钥类型为RSA(推荐使用RSA,因为它更通用)。:添加一个注释,通常是你的电子邮件地址,用于标识密钥。

2025-01-20 16:11:09 2873

原创 Socket连接

客户端可以有多个在同一个服务器中发送消息实现对话。

2024-12-19 16:58:43 228

原创 Mongo的模糊查询

是的,除了使用正则表达式进行模糊查询外,还有其他几种方法可以实现类似功能,尤其是在处理简单的通配符搜索时。

2024-12-03 18:12:42 1480

原创 Mongodb的基本使用方法

这些是 MongoDB 中常用的增删改查命令示例。请根据您的具体需求和数据结构调整命令中的集合名称、字段名称和条件。方法通常用于删除整个文档,而不是用于删除文档中的特定数据。如果您想删除文档中的特定数据,可以使用。更新操作符,这样可以更精确地删除文档中的特定数据而不是整个文档。

2024-11-29 15:38:03 261

原创 字符串的常用操作方法

【代码】字符串的常用操作方法。

2024-11-08 15:46:04 198 1

原创 Flask学习日记

一般https://127.0.0.1:8000/index?直接直接传参 使用。

2024-11-04 17:22:58 531

原创 Docker部署Mongo

在macOS中使用Docker部署MongoDB的步骤如下:安装Docker Desktop for Mac(如果尚未安装)。运行MongoDB容器。

2024-11-04 09:55:28 524

原创 Docker部署Redis

3. **镜像名称**:`docker.io/library/redis:latest` 表示您现在有了一个名为 `redis` 的 Docker 镜像,标签为 `latest`,存储在 Docker Hub 的 `library` 官方仓库中。1. **镜像拉取过程**:输出显示了多个镜像层的拉取过程,每个层都有一个唯一的哈希值,例如 `83d624c4be2d`、`473c53d52ee8` 等,并且每个层后面都跟着 `Pull complete`,表示每个层都已成功下载。

2024-10-31 11:31:58 342

原创 在Mac上配置Docker容器部署的步骤如下:

前往[Docker官网](https://www.docker.com/products/docker-desktop)下载适用于Mac的Docker Desktop安装程序。通过以上步骤,在Mac上配置Docker容器部署,可以让你更方便地将应用程序打包并运行在容器中,实现更高效的开发和部署。- 这将在后台运行一个名为`my_container`的容器,并将容器的端口80映射到主机的端口8080。- 在Docker容器中运行的应用程序需要适配Docker环境,例如监听正确的端口和使用容器内部的路径。

2024-10-30 17:17:57 618

原创 Mac安装Docker

通过官网双击完 Docker.dmg 文件后,双击下载的 .dmg 文件,然后将 Docker 鲸鱼图标拖拽到 Application 文件夹即完成安装。这里我们选择 Accept --》选择默认配置就行,Docker 会自动设置一些大多数开发人员必要的配置。通过 docker --version 命令,也可以查看 Docker 的版本。我们打开Docker应用程序后,会有一些选择配置,我们按照如下配置即可。Client 端显示包括 Docker 版本,当前的上下文,调试模式等。

2024-10-30 17:10:28 392

原创 MAC中创建Python虚拟环境,并且在PyCharm中运行

在`Interpreter`字段中选择虚拟环境的Python解释器路径,例如`/path/to/venv/bin/python3.10`。- 点击右上角的齿轮图标,选择`Add...`,然后选择`Existing environment`。- 在PyCharm中打开项目,然后进入`Preferences`(或`Settings`)。- 在`Project: `下选择`Python Interpreter`。- 在激活的虚拟环境中,使用`pip`安装所需的Python包。

2024-10-30 16:19:35 1414

原创 MongoDB介绍及Docker部署

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。

2024-09-05 19:18:22 843

原创 服务器Mysql主从配置docker部署

下一步在Master数据库创建数据同步用户,授予用户 slave REPLICATION SLAVE权限和REPLICATION CLIENT权限,用于在主从库之间同步数据。查看容器的ip地址 docker inspect --format='{{.NetworkSettings.IPAddress}}' master。这里出现(vim)每一个容器是一个单独的ip,资源不互通,所以需要重新。启动主容器 docker start slave。在Slave 中的mysql终端执行。下一步重启mysql。

2024-09-05 16:59:43 817

原创 docker基本命令

Docker 是一个开源的容器化平台,它允许开发者打包应用以及应用的依赖环境到一个可移植的容器中,然后发布到任何支持 Docker 的平台上。这些命令覆盖了 Docker 的基本操作,包括安装、运行容器、管理镜像和容器、以及一些高级功能如数据卷和网络。

2024-09-05 15:19:38 555

原创 同步和异步

发出一个功能调用时,在没有得到结果之前,该调用就不返回或继续执行后续操作。简单来说,同步就是必须一件一件事做,等前一件做完了才能做下一件事。:当一个异步过程调用发出后,调用者在没有得到结果之前,就可以继续执行后续操作。同步和异步的区别:请求发出后,是否需要等待结果,才能继续执行其他操作。

2024-09-05 08:23:32 559

原创 什么是ORM?

(4).在数据库表名或字段名发生变化时,只需修改模型类的映射,无需修改数据库操作的代码(相比SQL的话,可能需要同步修改涉及到的每一个SQL语句)(1).省去自己拼写SQL,保证SQL语法的正确性,加快写代码编写速度。A:面向对象中我们所谈的核心对象:类、对象和属性。B:面向关系中我们所谈的核心对象:表、记录和字段。C:面向对象和面向关系中核心对象的对应关系。1.使用面向对象的思想操作面向关系的数据库。(3).防止注入攻击。属性《=======》字段。类《========》表。对象《======》记录。

2024-09-05 08:22:18 551

原创 django请求的生命周期是什么?

在框架中,中间件对请求进行进一步处理(例如:csrf、session、路由匹配)目的是制定标准,以保证不同Web服务器可以和不同的Python程序之间相互通信。然后进行路由匹配, 执行不同的视图函数,可能涉及到数据库操作,模版渲染等。最后wsgi服务器将响应对象转换为http报文,返回给浏览器。记得说出,请求到达时候,先经过中间件,后经过路由和视图。,解析封装为request对象, 交给web框架处理。web服务器,wsgi,web应用程序。WSGI是一套接口标准协议/规范;回忆:车辆,交通法规,行人。

2024-09-05 08:18:54 483

原创 mysql 联合索引 左匹配原则

指的是,如果查询条件中没有包含联合索引最左侧的列,那么就不会使用该联合索引进行查询。因此,如果你的查询条件中只包含了联合索引中间或右侧的列,那么该联合索引就无法被利用。有时候也称为命中了索引,使用了索引,都说同一个意思。联合索引是指对表上的多个列合起来做一个索引。因为在第二个查询中,没有使用到第一个查询中的。在创建联合索引时,需要考虑列的顺序,因为。列,不是从最左侧开始的。

2024-09-05 08:18:03 209

原创 sql注入攻击

利用sql特殊符号,产生预定的作用。1、不允许输入特殊符号(前后端校验)如何防范sql注入攻击?2、使用成熟的ORM框架。

2024-09-04 18:40:44 229

原创 分库、分表策略

在实施分表策略时,需要考虑数据一致性、分布式事务处理、查询优化、数据迁移、应用改造、测试验证以及性能提升和负载均衡等因素。:在分库分表的环境下,确保跨库事务的一致性可能需要采用分布式事务的方案,如两阶段提交或基于消息队列的异步处理。:将数据库中的表按照业务模块或功能拆分到不同的数据库中,每个数据库可以部署在不同的服务器上。:适用于多个分片键的复杂分片场景,可以搭配使用不同的分片算法,以适应各种不同的分片场景。:通过外部指定分库和分表的信息,可以让SQL在指定的分库、分表中执行。

2024-09-04 15:23:53 534

原创 雪花算法(时钟回拨)

当发生时间回拨时,时钟序列会递增,从而保证ID的唯一性。:在处理分布式系统中的消息时,可以使用递增全局唯一ID来避免时钟回拨带来的问题。:将序列号持久化存储到磁盘上,这样即使服务重启或时钟回拨,服务也能继续从上次持久化的序列号开始自增,从而避免ID重复。:当检测到时钟回拨时,算法会暂停生成新的ID,直到系统时钟恢复正常。当发生时钟回拨时,如果没有适当的处理措施,可能会生成重复的ID或者导致ID生成服务暂时不可用。:在一些关键的分布式场景中,可以通过限制系统时钟漂移值的方式来避免时钟回拨问题。

2024-09-04 15:22:27 753

原创 mysql索引类型有哪些

联合索引的最左前缀原则指的是,如果查询条件中没有包含联合索引最左侧的列,那么就不会使用该联合索引进行查询。因此,如果你的查询条件中只包含了联合索引中间或右侧的列,那么该联合索引就无法被利用。唯一索引与普通索引类似,不同的是创建唯一性索引的目的不是为了提高访问速度,而是为了避免数据出现重复。普通索引是 MySQL 中最基本的索引类型,它没有任何限制,任务就是加快系统对数据的访问速度。顾名思义,主键索引就是专门为主键字段创建的索引,也属于索引的一种。主键索引是一种特殊的唯一索引,不允许值重复或者值为空。

2024-09-04 11:06:54 493

原创 python操作redis,建立连接、返回值的类型转换

使用python操作redis,可以安装第三方库redis。方便地操作redis数据库。

2024-09-04 11:04:40 539

原创 网络爬虫分类

搜索引擎的主要组成,作用就是将互联网的上页面整体的爬取下来之后,保存到本地。网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。2、定向爬虫(聚焦爬虫)我们编写的都是定向爬虫。

2024-09-04 11:00:56 650

原创 MongoDB中limit、skip

在MongoDB中,limit和skip是两个用于控制查询结果数量和分页的命令。

2024-09-04 09:07:22 649

原创 django递归序列化器(自关联)

在Django REST framework中,递归序列化器(Recursive Serializer)是一种特殊的序列化器,它能够序列化具有自我引用关系(例如,一个模型引用了它自己的实例)或者模型之间存在循环引用的情况。使用递归序列化器时,需要小心处理递归深度和性能问题。等字段,它们可以在序列化时提供对关联对象的引用,而不是递归序列化整个对象,这在某些情况下可能是更好的选择。要创建一个递归序列化器,你可以在序列化器内部引用自身。字段是一个序列化器方法字段,它使用递归序列化器来获取当前对象的所有子对象。

2024-09-04 09:04:03 512

原创 robots协议

robots协议是一个文本文件,位于网站的根目录下,名为robots.txt。它的作用是告诉网络爬虫在抓取网站时应该遵守的规则。这些规则包括哪些目录可以被爬取,哪些文件类型可以被爬取,以及哪些具体的页面可以被爬取或禁止被爬取。

2024-09-04 08:26:39 975

原创 一些反爬及其应对措施

若user-agent被检测到,可以找大量的user-agent,放入列表,然后随机,或者使用第三方库随机user-agent,比如fake_useragent这个库。解决方案:对于简单的验证码图片可以使用 ddddocr 来处理,对于复杂的可以去打码平台。解决方案:可以通过设置请求间隔,和爬取间隔。解决方案:可以通过伪装请求头中的user-agent来解决。( 1)通过user-agent来判断是否是爬虫。(3)通过访问频率来判断是否是一个爬虫。解决方案:可以通过代理来伪装IP。(2)将IP进行封杀。

2024-09-04 08:20:21 252

原创 python网络爬虫技术栈

以下是Python网络爬虫常用的技术栈,以表格形式展示:RequestsBeautifulSoupSeleniumMySQLMongoDB。

2024-09-04 08:10:16 1217

原创 User-Agent爬虫伪装

User-Agent 即用户代理,简称“UA”,它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。绝大多数网站都具备一定的反爬能力,禁止网爬虫大量地访问网站,反爬虫。网站通过识别请求头中 User-Agent 信息来判断是否是爬虫访问网站。如果是,网站首先对该 IP 进行预警,对其进行重点监控,当发现该 IP 超过规定时间内的访问次数, 将在一段时间内禁止其再次访问网站。

2024-09-04 08:07:56 2078

原创 ip代理-爬虫

【代码】ip代理-爬虫。

2024-09-03 19:04:52 643

原创 redis数据持久化策略

Redis的持久化机制是确保数据安全性的重要功能,它可以在系统故障时保护数据不丢失。

2024-09-03 19:04:02 465

原创 步长-学习率(Learning rate)

在机器学习中,步长(step size)和学习率(learning rate)确实是指同一个概念,它们描述了在梯度下降算法中参数更新的幅度。学习率是优化算法中最重要的超参数之一,它直接影响模型训练的效率和最终性能。

2024-09-03 18:53:24 839

原创 大模型RAG技术

RAG(检索增强生成技术)通过整合外部信息检索来提升大型语言模型的回答质量和知识覆盖。RAG技术可以解决大语言模型的幻觉问题、时效性问题和数据安全问题。

2024-09-03 18:45:55 449

原创 Faiss向量数据库

这些操作通过简单的函数调用实现,例如index.add()用于向索引中添加数据,index.remove_ids()用于从索引中删除指定的数据,而index.search()则用于执行实际的相似性搜索并返回结果。这种索引适用于小到中等规模的数据集,因为它采用暴力检索的方式,即计算查询向量与所有数据库向量之间的距离,然后返回相似度最高的前k个向量。总的来说,IndexFlatL2是理解Faiss其他更复杂索引方式的基础,提供了简洁、准确的检索功能,适用于小规模数据集的精确检索任务。

2024-09-03 11:49:52 686

原创 向量相似度

向量相似度是指衡量两个向量在向量空间中相似程度的指标。在机器学习和自然语言处理等领域,向量相似度通常用于比较文档、图片、声音或其他类型的数据。

2024-09-03 11:02:36 619

原创 Python库之Pydantic

Pydantic 是一个Python库,用于数据验证和设置管理。它最初是为了弥补Python标准库在数据验证方面的不足而设计的。与其他数据验证库(如 Marshmallow、Cerberus)相比,Pydantic 强调类型提示和类型安全,使其与 Python 3.6+ 的类型系统无缝集成。Pydantic 在现代Web框架(如 FastAPI)和数据科学项目中非常流行。

2024-09-03 10:18:39 477

原创 神经网络-反向传播算法

它通过计算损失函数关于权重的梯度(即导数),并沿着梯度的反方向更新权重,以此来减少误差。在这一过程中,每一层的神经元接收前一层的输出作为输入,进行加权求和,并通过激活函数处理后输出到下一层。在神经网络中,链式法则用于计算损失函数关于网络中每个权重的导数,这是反向传播算法的基础。它首先计算输出层的误差,然后根据链式法则将误差反向传播到网络的每一层,逐层计算梯度,并更新权重。神经网络的训练过程是通过前向传播来计算预测结果,然后通过反向传播来更新权重,以此来最小化损失函数,提高模型的预测性能。

2024-09-03 10:04:32 477

原创 人工智能激活函数

激活函数是神经网络中的一个关键组件,它的作用是为网络引入非线性。在机器学习和深度学习中,神经网络通过模仿人脑的神经元处理信息的方式来处理数据。激活函数就是这个过程中不可或缺的一部分。下面详细解释激活函数的概念、作用以及常见的激活函数类型。

2024-09-03 09:13:53 523

原创 虚拟环境操作与作用

虚拟环境的作用:隔离,不同环境之间互不影响,否则版本冲突。进入虚拟环境: 名称\Scripts\activate。python -m venv 名称。退出虚拟环境 :deactivate。

2024-09-03 08:19:48 298

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除