- 博客(96)
- 收藏
- 关注
原创 git中ssh配置密钥
指定密钥长度为4096位(更高的密钥长度意味着更高的安全性)。:指定密钥类型为RSA(推荐使用RSA,因为它更通用)。:添加一个注释,通常是你的电子邮件地址,用于标识密钥。
2025-01-20 16:11:09
2873
原创 Mongodb的基本使用方法
这些是 MongoDB 中常用的增删改查命令示例。请根据您的具体需求和数据结构调整命令中的集合名称、字段名称和条件。方法通常用于删除整个文档,而不是用于删除文档中的特定数据。如果您想删除文档中的特定数据,可以使用。更新操作符,这样可以更精确地删除文档中的特定数据而不是整个文档。
2024-11-29 15:38:03
261
原创 Docker部署Mongo
在macOS中使用Docker部署MongoDB的步骤如下:安装Docker Desktop for Mac(如果尚未安装)。运行MongoDB容器。
2024-11-04 09:55:28
524
原创 Docker部署Redis
3. **镜像名称**:`docker.io/library/redis:latest` 表示您现在有了一个名为 `redis` 的 Docker 镜像,标签为 `latest`,存储在 Docker Hub 的 `library` 官方仓库中。1. **镜像拉取过程**:输出显示了多个镜像层的拉取过程,每个层都有一个唯一的哈希值,例如 `83d624c4be2d`、`473c53d52ee8` 等,并且每个层后面都跟着 `Pull complete`,表示每个层都已成功下载。
2024-10-31 11:31:58
342
原创 在Mac上配置Docker容器部署的步骤如下:
前往[Docker官网](https://www.docker.com/products/docker-desktop)下载适用于Mac的Docker Desktop安装程序。通过以上步骤,在Mac上配置Docker容器部署,可以让你更方便地将应用程序打包并运行在容器中,实现更高效的开发和部署。- 这将在后台运行一个名为`my_container`的容器,并将容器的端口80映射到主机的端口8080。- 在Docker容器中运行的应用程序需要适配Docker环境,例如监听正确的端口和使用容器内部的路径。
2024-10-30 17:17:57
618
原创 Mac安装Docker
通过官网双击完 Docker.dmg 文件后,双击下载的 .dmg 文件,然后将 Docker 鲸鱼图标拖拽到 Application 文件夹即完成安装。这里我们选择 Accept --》选择默认配置就行,Docker 会自动设置一些大多数开发人员必要的配置。通过 docker --version 命令,也可以查看 Docker 的版本。我们打开Docker应用程序后,会有一些选择配置,我们按照如下配置即可。Client 端显示包括 Docker 版本,当前的上下文,调试模式等。
2024-10-30 17:10:28
392
原创 MAC中创建Python虚拟环境,并且在PyCharm中运行
在`Interpreter`字段中选择虚拟环境的Python解释器路径,例如`/path/to/venv/bin/python3.10`。- 点击右上角的齿轮图标,选择`Add...`,然后选择`Existing environment`。- 在PyCharm中打开项目,然后进入`Preferences`(或`Settings`)。- 在`Project: `下选择`Python Interpreter`。- 在激活的虚拟环境中,使用`pip`安装所需的Python包。
2024-10-30 16:19:35
1414
原创 MongoDB介绍及Docker部署
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
2024-09-05 19:18:22
843
原创 服务器Mysql主从配置docker部署
下一步在Master数据库创建数据同步用户,授予用户 slave REPLICATION SLAVE权限和REPLICATION CLIENT权限,用于在主从库之间同步数据。查看容器的ip地址 docker inspect --format='{{.NetworkSettings.IPAddress}}' master。这里出现(vim)每一个容器是一个单独的ip,资源不互通,所以需要重新。启动主容器 docker start slave。在Slave 中的mysql终端执行。下一步重启mysql。
2024-09-05 16:59:43
817
原创 docker基本命令
Docker 是一个开源的容器化平台,它允许开发者打包应用以及应用的依赖环境到一个可移植的容器中,然后发布到任何支持 Docker 的平台上。这些命令覆盖了 Docker 的基本操作,包括安装、运行容器、管理镜像和容器、以及一些高级功能如数据卷和网络。
2024-09-05 15:19:38
555
原创 同步和异步
发出一个功能调用时,在没有得到结果之前,该调用就不返回或继续执行后续操作。简单来说,同步就是必须一件一件事做,等前一件做完了才能做下一件事。:当一个异步过程调用发出后,调用者在没有得到结果之前,就可以继续执行后续操作。同步和异步的区别:请求发出后,是否需要等待结果,才能继续执行其他操作。
2024-09-05 08:23:32
559
原创 什么是ORM?
(4).在数据库表名或字段名发生变化时,只需修改模型类的映射,无需修改数据库操作的代码(相比SQL的话,可能需要同步修改涉及到的每一个SQL语句)(1).省去自己拼写SQL,保证SQL语法的正确性,加快写代码编写速度。A:面向对象中我们所谈的核心对象:类、对象和属性。B:面向关系中我们所谈的核心对象:表、记录和字段。C:面向对象和面向关系中核心对象的对应关系。1.使用面向对象的思想操作面向关系的数据库。(3).防止注入攻击。属性《=======》字段。类《========》表。对象《======》记录。
2024-09-05 08:22:18
551
原创 django请求的生命周期是什么?
在框架中,中间件对请求进行进一步处理(例如:csrf、session、路由匹配)目的是制定标准,以保证不同Web服务器可以和不同的Python程序之间相互通信。然后进行路由匹配, 执行不同的视图函数,可能涉及到数据库操作,模版渲染等。最后wsgi服务器将响应对象转换为http报文,返回给浏览器。记得说出,请求到达时候,先经过中间件,后经过路由和视图。,解析封装为request对象, 交给web框架处理。web服务器,wsgi,web应用程序。WSGI是一套接口标准协议/规范;回忆:车辆,交通法规,行人。
2024-09-05 08:18:54
483
原创 mysql 联合索引 左匹配原则
指的是,如果查询条件中没有包含联合索引最左侧的列,那么就不会使用该联合索引进行查询。因此,如果你的查询条件中只包含了联合索引中间或右侧的列,那么该联合索引就无法被利用。有时候也称为命中了索引,使用了索引,都说同一个意思。联合索引是指对表上的多个列合起来做一个索引。因为在第二个查询中,没有使用到第一个查询中的。在创建联合索引时,需要考虑列的顺序,因为。列,不是从最左侧开始的。
2024-09-05 08:18:03
209
原创 分库、分表策略
在实施分表策略时,需要考虑数据一致性、分布式事务处理、查询优化、数据迁移、应用改造、测试验证以及性能提升和负载均衡等因素。:在分库分表的环境下,确保跨库事务的一致性可能需要采用分布式事务的方案,如两阶段提交或基于消息队列的异步处理。:将数据库中的表按照业务模块或功能拆分到不同的数据库中,每个数据库可以部署在不同的服务器上。:适用于多个分片键的复杂分片场景,可以搭配使用不同的分片算法,以适应各种不同的分片场景。:通过外部指定分库和分表的信息,可以让SQL在指定的分库、分表中执行。
2024-09-04 15:23:53
534
原创 雪花算法(时钟回拨)
当发生时间回拨时,时钟序列会递增,从而保证ID的唯一性。:在处理分布式系统中的消息时,可以使用递增全局唯一ID来避免时钟回拨带来的问题。:将序列号持久化存储到磁盘上,这样即使服务重启或时钟回拨,服务也能继续从上次持久化的序列号开始自增,从而避免ID重复。:当检测到时钟回拨时,算法会暂停生成新的ID,直到系统时钟恢复正常。当发生时钟回拨时,如果没有适当的处理措施,可能会生成重复的ID或者导致ID生成服务暂时不可用。:在一些关键的分布式场景中,可以通过限制系统时钟漂移值的方式来避免时钟回拨问题。
2024-09-04 15:22:27
753
原创 mysql索引类型有哪些
联合索引的最左前缀原则指的是,如果查询条件中没有包含联合索引最左侧的列,那么就不会使用该联合索引进行查询。因此,如果你的查询条件中只包含了联合索引中间或右侧的列,那么该联合索引就无法被利用。唯一索引与普通索引类似,不同的是创建唯一性索引的目的不是为了提高访问速度,而是为了避免数据出现重复。普通索引是 MySQL 中最基本的索引类型,它没有任何限制,任务就是加快系统对数据的访问速度。顾名思义,主键索引就是专门为主键字段创建的索引,也属于索引的一种。主键索引是一种特殊的唯一索引,不允许值重复或者值为空。
2024-09-04 11:06:54
493
原创 网络爬虫分类
搜索引擎的主要组成,作用就是将互联网的上页面整体的爬取下来之后,保存到本地。网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。2、定向爬虫(聚焦爬虫)我们编写的都是定向爬虫。
2024-09-04 11:00:56
650
原创 django递归序列化器(自关联)
在Django REST framework中,递归序列化器(Recursive Serializer)是一种特殊的序列化器,它能够序列化具有自我引用关系(例如,一个模型引用了它自己的实例)或者模型之间存在循环引用的情况。使用递归序列化器时,需要小心处理递归深度和性能问题。等字段,它们可以在序列化时提供对关联对象的引用,而不是递归序列化整个对象,这在某些情况下可能是更好的选择。要创建一个递归序列化器,你可以在序列化器内部引用自身。字段是一个序列化器方法字段,它使用递归序列化器来获取当前对象的所有子对象。
2024-09-04 09:04:03
512
原创 robots协议
robots协议是一个文本文件,位于网站的根目录下,名为robots.txt。它的作用是告诉网络爬虫在抓取网站时应该遵守的规则。这些规则包括哪些目录可以被爬取,哪些文件类型可以被爬取,以及哪些具体的页面可以被爬取或禁止被爬取。
2024-09-04 08:26:39
975
原创 一些反爬及其应对措施
若user-agent被检测到,可以找大量的user-agent,放入列表,然后随机,或者使用第三方库随机user-agent,比如fake_useragent这个库。解决方案:对于简单的验证码图片可以使用 ddddocr 来处理,对于复杂的可以去打码平台。解决方案:可以通过设置请求间隔,和爬取间隔。解决方案:可以通过伪装请求头中的user-agent来解决。( 1)通过user-agent来判断是否是爬虫。(3)通过访问频率来判断是否是一个爬虫。解决方案:可以通过代理来伪装IP。(2)将IP进行封杀。
2024-09-04 08:20:21
252
原创 python网络爬虫技术栈
以下是Python网络爬虫常用的技术栈,以表格形式展示:RequestsBeautifulSoupSeleniumMySQLMongoDB。
2024-09-04 08:10:16
1217
原创 User-Agent爬虫伪装
User-Agent 即用户代理,简称“UA”,它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。绝大多数网站都具备一定的反爬能力,禁止网爬虫大量地访问网站,反爬虫。网站通过识别请求头中 User-Agent 信息来判断是否是爬虫访问网站。如果是,网站首先对该 IP 进行预警,对其进行重点监控,当发现该 IP 超过规定时间内的访问次数, 将在一段时间内禁止其再次访问网站。
2024-09-04 08:07:56
2078
原创 步长-学习率(Learning rate)
在机器学习中,步长(step size)和学习率(learning rate)确实是指同一个概念,它们描述了在梯度下降算法中参数更新的幅度。学习率是优化算法中最重要的超参数之一,它直接影响模型训练的效率和最终性能。
2024-09-03 18:53:24
839
原创 大模型RAG技术
RAG(检索增强生成技术)通过整合外部信息检索来提升大型语言模型的回答质量和知识覆盖。RAG技术可以解决大语言模型的幻觉问题、时效性问题和数据安全问题。
2024-09-03 18:45:55
449
原创 Faiss向量数据库
这些操作通过简单的函数调用实现,例如index.add()用于向索引中添加数据,index.remove_ids()用于从索引中删除指定的数据,而index.search()则用于执行实际的相似性搜索并返回结果。这种索引适用于小到中等规模的数据集,因为它采用暴力检索的方式,即计算查询向量与所有数据库向量之间的距离,然后返回相似度最高的前k个向量。总的来说,IndexFlatL2是理解Faiss其他更复杂索引方式的基础,提供了简洁、准确的检索功能,适用于小规模数据集的精确检索任务。
2024-09-03 11:49:52
686
原创 向量相似度
向量相似度是指衡量两个向量在向量空间中相似程度的指标。在机器学习和自然语言处理等领域,向量相似度通常用于比较文档、图片、声音或其他类型的数据。
2024-09-03 11:02:36
619
原创 Python库之Pydantic
Pydantic 是一个Python库,用于数据验证和设置管理。它最初是为了弥补Python标准库在数据验证方面的不足而设计的。与其他数据验证库(如 Marshmallow、Cerberus)相比,Pydantic 强调类型提示和类型安全,使其与 Python 3.6+ 的类型系统无缝集成。Pydantic 在现代Web框架(如 FastAPI)和数据科学项目中非常流行。
2024-09-03 10:18:39
477
原创 神经网络-反向传播算法
它通过计算损失函数关于权重的梯度(即导数),并沿着梯度的反方向更新权重,以此来减少误差。在这一过程中,每一层的神经元接收前一层的输出作为输入,进行加权求和,并通过激活函数处理后输出到下一层。在神经网络中,链式法则用于计算损失函数关于网络中每个权重的导数,这是反向传播算法的基础。它首先计算输出层的误差,然后根据链式法则将误差反向传播到网络的每一层,逐层计算梯度,并更新权重。神经网络的训练过程是通过前向传播来计算预测结果,然后通过反向传播来更新权重,以此来最小化损失函数,提高模型的预测性能。
2024-09-03 10:04:32
477
原创 人工智能激活函数
激活函数是神经网络中的一个关键组件,它的作用是为网络引入非线性。在机器学习和深度学习中,神经网络通过模仿人脑的神经元处理信息的方式来处理数据。激活函数就是这个过程中不可或缺的一部分。下面详细解释激活函数的概念、作用以及常见的激活函数类型。
2024-09-03 09:13:53
523
原创 虚拟环境操作与作用
虚拟环境的作用:隔离,不同环境之间互不影响,否则版本冲突。进入虚拟环境: 名称\Scripts\activate。python -m venv 名称。退出虚拟环境 :deactivate。
2024-09-03 08:19:48
298
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人