LuoDZH3123-CSDN博客

原创 python和selenium grid实现分布式爬虫

python和selenium grid实现分布式爬虫selenium grid的分布式结构就是由一个hub节点和若干个node代理节点组成。Hub用来管理各个代理节点的注册信息和状态信息，并且接受远程客户端代码的请求调用，然后把请求的命令转发给代理节点来执行。Selenium Grid环境部署下载selenium-server-standalone jar包下载地址这里我选择下载的版本是selenium-server-standalone-3.9.1.jar在命令窗口进入selenium-s

2022-03-10 16:50:10 1821

转载【SequoiaDB|巨杉数据库】集群启停

集群启停集群管理服务集群管理节点 sdbcm (SequoiaDB Cluster Manager) 是数据库的集群管理服务，是常驻系统后台的一个守护进程。负责执行远程的集群管理命令和监控本地的 SequoiaDB 数据库。每一个操作系统中只能启动一个集群管理节点。操作系统启动后会自动启动 sdbcm 服务。该服务启动后会自动启动该物理机中所有注册在数据库安装目录 /opt/sequoiadb/conf/local （数据库默认安装路径）下的节点。用户使用命令 ps –elf | grep sequo

2021-01-15 17:16:14 347

转载【SequoiaDB|巨杉数据库】数据库引擎卸载

数据库引擎卸载当用户不再需要 SequoiaDB 巨杉数据库的时候，可以选择卸载。卸载前的检查确保 SequoiaDB 未处于使用状态且不再使用卸载过程需要使用 root 用户权限数据备份如果需要保留数据则对数据进行备份，如果不需要则彻底删除。卸载步骤下列卸载步骤，以 SequoiaDB 安装在 /opt/sequoiadb 目录下为例，集群环境需要在每台数据库服务器上执行：以 root 身份登陆数据库服务器执行如下命令卸载 SequoiaDB$ /opt/sequoiadb/unin

2021-01-15 17:14:15 380

转载【SequoiaDB|巨杉数据库】同步日志

【SequoiaDB|巨杉数据库】同步日志日志文件SequoiaDB 采用日志方式进行副本间的数据同步。日志文件存在于 replicalog 目录中。文件大小和个数可以分别通过 logfilesz 和 logfilenum 参数进行设置。默认分别为 64MB（不包含头大小）和 20。参数生效后无法修改。（如果要修改必须离线删除全部日志文件，重新配置参数并启动 SequoiaDB。但此举通常会引起全量同步。）同步数据组内所有备节点会定期将其他数据节点日志打包下载到本地进行日志回放。同步源并不限于主节

2021-01-15 17:12:27 324

转载【SequoiaDB|巨杉数据库】工具

【SequoiaDB|巨杉数据库】工具本文档主要介绍 STP 相关工具的参数说明及使用方法。stpstp 是 STP 提供逻辑时间的可执行程序。参数说明参数名缩写类型说明–help -h 返回 stp 的用法和帮助–version 返回 stp 的版本信息–port -p int32 1. STP 监听端口2. 默认值为 96223.开启 TCP 和 UDP 协议的监听–serverlist string 1. STP 配置 server 列表，配置

2021-01-13 14:11:45 151

转载【SequoiaDB|巨杉数据库】逻辑时间

【SequoiaDB|巨杉数据库】逻辑时间逻辑时间是 SequoiaDB 巨杉数据库内部用于表示时间先后顺序，但区别于实际机器时间的逻辑时间戳。本地逻辑时间（Local Logical Time, LLT）：每个时间节点维护自己的本地逻辑时间（单位：纳秒）全局逻辑时间（Universal Logical Time, ULT）：定义 STP server 主节点上的本地逻辑时间为全局逻辑时间逻辑时间容错误差（Logical Time Error）：表示系统可接受的真实逻辑时间的误差范围，该误差由时间

2021-01-13 14:10:14 206

转载【SequoiaDB|巨杉数据库】时间序列服务

【SequoiaDB|巨杉数据库】时间序列服务时间序列协议（STP，Serial Time Protocol）是 SequoiaDB 巨杉数据库内部逻辑时间同步的协议：STP 维护逻辑时间，提供逻辑时钟服务在 SequoiaDB 中，逻辑时间戳主要用于全局事务处理STP 需要部署在 SequoiaDB 集群的每个机器中，提供逻辑时钟服务Note: 逻辑时间是 SequoiaDB 内部用于表示时间但区别于实际时间的逻辑时间戳，可参考逻辑时间。全局逻辑时钟服务提供全局事务的支持，

2021-01-13 14:08:50 187

转载【SequoiaDB|巨杉数据库】MongoDB协议兼容

【SequoiaDB|巨杉数据库】MongoDB协议兼容MongoDB 是一款开源的非关系型数据库，也是目前最流行的非关系型数据库之一。SequoiaDB 巨杉数据库兼容 MongoDB 的语法和协议，用户可以使用 MongoDB 的驱动访问 SequoiaDB 数据库，完成对数据的增删查改操作以及其他操作。SequoiaDB 所支持的 MongoDB 版本MongoDB 2.xMongoDB 3.xMongoDB 4.x配置下述示例以 SequoiaDB 安装目录为 /opt/seq

2021-01-13 14:07:30 559

转载【SequoiaDB|巨杉数据库】数据压缩

【SequoiaDB|巨杉数据库】数据压缩数据的持久化存储需要用户投入成本购买存储设备。虽然硬盘等存储设备的价格一直在下降，但由于数据的增长速度已经远远超出了设备价格下降的速度，所以用户的净存储成本实际上一直在增长。因此，使用高效的算法对数据进行压缩，可以大大减小存储空间的需求，降低用户的成本投入。从软件系统层面来讲，对于数据库等特殊领域，需要对存储在磁盘等介质上的海量数据进行高频访问。此时，磁盘 I/O 就成为整体性能的一个关键节点。数据压缩后存储到磁盘，可以大大减小 I/O 需求，系统能够提供更高的

2021-01-13 14:04:46 171

转载【SequoiaDB|巨杉数据库】后台任务

【SequoiaDB|巨杉数据库】后台任务后台任务是 SequoiaDB 巨杉数据库中一种特殊类型的任务，一般用于将用户特定操作或者系统内部特殊逻辑置于后台异步执行。在会话快照中，后台任务的类型（Type）为 “Task”。后台任务类型根据任务内容不同，后台任务包括很多类型。具体类型名及描述如下：更多内容请点击...

2021-01-13 14:03:22 126

转载【SequoiaDB|巨杉数据库】会话

【SequoiaDB|巨杉数据库】会话当数据库客户端建立一个与服务端的连接，并发送一个操作请求后，服务端通常需要保存这个操作的上下文信息，如客户端的地址信息、请求的操作类型和操作执行的进度信息等，这个上下文就是会话，是位于服务端的特定数据结构。但会话结构自身是不能执行操作的，它需要一个与之“绑定”的执行线程来对请求进行处理。会话类型会话通常和连接同时建立。在 SequoiaDB 巨杉数据库中，有很多种不同类型的会话，从其管理机制来分，可分为两大类：用户会话：由用户连接到数据库集群中的节点执行操作驱动

2021-01-13 14:00:34 133

转载【SequoiaDB|巨杉数据库】引擎调度单元

【SequoiaDB|巨杉数据库】引擎调度单元引擎调度单元（简称 EDU，即 Engine Dispatchable Unit）是指 SequoiaDB 巨杉数据库引擎进程内主线程以外的单个线程，它是 SequoiaDB 中任务运行的载体。每个 EDU 可以用来执行用户的请求或者执行系统内部的维护任务。EDU 之间相互独立，不同的 EDU 单独负责不同的会话，每个 EDU 拥有一个进程内唯一的 64 位整数标识，即 EDU ID。EDU 可以分为用户 EDU 和系统 EDU，分别代表执行用户任务的线程和

2021-01-13 13:58:27 135

转载【SequoiaDB|巨杉数据库】线程模型简介

【SequoiaDB|巨杉数据库】线程模型简介SequoiaDB 巨杉数据库使用的是多线程模型，不同类型的线程用于处理不同的任务。对于集群中的一个节点，它要处理的任务主要包括：来自用户的请求来自集群内其它节点的请求节点内的管理任务SequoiaDB 设计了一系列的代理线程及系统线程来处理多种类型的任务，基本的线程模型如下图：图中，代理线程用于处理来自用户的请求；同步代理线程用于副本节点之间的数据同步；分区代理线程则是处理协调节点发给数据节点的请求。除此之后，还有一系列的独立线程，用于连接请求监

2021-01-13 13:55:32 100

LuoDZHDA的博客