- 博客(44)
- 收藏
- 关注
RSS订阅原创 Database-对数据库架构设计及结合计算型存储的思考
Database-对数据库架构设计及结合计算型存储的思考数据库系统面临的瓶颈如何解决这些问题数据库架构设计角度计算和存储分离日志下推日志和数据分离嵌入底层存储引擎应用计算型存储底层技术数据库和存储原子写计算型存储压缩算子下推最近在看一些市场上NewSQL的构建和设计思路，但其本质上都是对目前常用开源数据库在架构上的拓展以及结合新的底层通用技术（例如可计算存储）实现的优化。在面对互联网的高并发和海量数据，传统的做法是在架构层面做出一些拆解，应用拆成了数个子系统，数据库也一样拆成了数个单一的数据库实例来应对计
2020-12-06 14:39:45
1047
1
原创 ClickHouse-安装篇
ClickHouse-安装篇安装前准备单机模式安装集群模式ClickHouse 的 Client 参数介绍设置用户和密码ClickHouse一些信息总结操作系统:Centos-7.7ClickHouse: YUM 在线安装，20.x官网:https://clickhouse.yandex/ 具体安装细节看:https://clickhouse.tech/#quick-start安装前准备CentOS7 打开文件数限制：在 /etc/security/limits.conf 这个文件的末尾加入一下
2020-11-13 13:48:13
7982
原创 ClickHouse-OLAP列式数据库黑马
ClickHouse-新兴的OLAP列式数据库ClickHouse概述发展历程社区发展适用场景优缺点总结ClickHouse是一个面向列的数据库管理系统(DBMS)，用于在线分析处理查询(OLAP)。ClickHouse官网:https://clickhouse.tech/ClickHouse中文社区:http://www.clickhouse.com.cn/ClickHouse概述ClickHouse 是俄罗斯搜索巨头 Yandex 公司早 2016年 开源的一个极具 " 战斗力 " 的实时数
2020-11-13 11:22:25
1147
原创 ClickHouse-简谈OLAP与ClickHouse
ClickHouse-概述及架构设计背景架构和选型分析OLAP背景俄罗斯的Yandex公司（被誉为俄罗斯的google）在2016年开源了ClickHouse。在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的大赛中，面对各类新的大数据引擎的挑战， ClickHouse一直稳稳地坐在冠军宝座上。同时在各种OLAP查询引擎评测中，ClickHouse单表查询的速度力压现在流行的各大数据库引擎，尤其是Ad-hoc查询速度一直遥遥领先，因此被
2020-11-13 10:47:35
2790
原创 Kubernetes&Database-记录和反思一次容器云环境Mysql启动失败的问题
Kubernetes&Database-记录一次容器云环境Mysql启动失败的问题昨天晚上十点多运维的同事发了条信息，让帮忙协助解决某容器云项目中mysql无法启动的问题。其实导致发生该问题的原因很简单，简单到拿到日志就能找到原因，但因为不在现场沟通上存在问题，导致半个多小时才排查完。注：平台使用的存储为glusterfs。一开始看到的mysql日志如下：InnoDB: We intentionally generate a memory trap.InnoDB: Submit a d
2020-08-24 10:39:05
2067
原创 Kubernetes&Database-k8s中helm方式安装postgresql及pgadmin
Kubernetes-helm方式安装postgresql及pgadmin安装 helm安装postgresql安装pgadmin安装 helm这里使用脚本的方式安装#curl https://raw.githubusercontent.com/helm/helm/master/scripts/get > get_helm.sh % Total % Received % Xferd Average Speed Time Time Time Current
2020-08-20 15:43:35
4066
原创 Linux系统排查工具详解--cpu篇（待更新）
一、CPU1、Uptime 命令：一个简单的查看平均负载的命令[root@localhost ~]# uptime 后三项为1、5、15分钟的平均负载15:37:33 up 1 min, 2 users, load average: 0.10, 0.07, 0.03[root@localhost ~]# uptime -helpUsage:uptime [options]Options:-p, --pretty show uptime in pretty format-h, --
2020-07-23 17:03:16
4452
原创 Kubernetes-记录在容器云Galera集群中测试导入数据
Kubernetes-在Caicloud容器平台Galera集群中测试导入数据平台：Caicloud Compass（才云compass容器云管理平台）mysql版本：5.7.20Galera集群信息：mysql> show status like "wsrep_cluster_size";+--------------------+-------+| Variable_name | Value |+--------------------+-------+| wsrep_
2020-06-08 11:03:46
4468
原创 浅谈操作系统的进程通信对于数据库的影响
浅谈操作系统的进程通信部分对于数据库的影响进程间的通信共享内存的实现共享内存与Oracle SGA最近在温习操作系统相关的基本原理，结合以前的数据库实践，就简单说一说最基础的操作系统进程通信部分对数据库的一些影响。进程间的通信操作系统内的进程在执行时可以分为独立的或者是协作的。独立进程的含义是该进程不能影响其他进程或受其他进程影响，反之，则是协作的进程。协作进程的意义通常在于以下理由：1、加速计算：这也是计算机发展到多个处理内核和进行进程间调度的原因，充分利用cpu资源以达到加快程序处理的作用。
2020-05-28 15:38:44
4685
原创 Kubernetes-mac上安装docker以及k8s
Kubernetes-mac上安装docker以及k8s安装 Docker Desktop下载kubernetes镜像开启kubernetes使用 dashboardmac电脑重做系统后，发现之前mac上安装k8s的方法已经失效，特写一篇博文记录下安装过程。安装 Docker Desktop下载 Docker Desktop 按提示进行安装。这块不再赘述。配置Docker镜像国内加速：加入一行：“https://docker.mirrors.ustc.edu.cn”也可选择其他源。下载ku
2020-05-25 17:33:11
7613
3
原创 Bigdata-Hbase+Geomesa+Geoserver集群部署并发布地图服务
Bigdata-Hbase+Geomesa+Geoserver集群部署并发布地图服务基本环境配置安装java安装hadoop安装zookeeper安装hbase安装Geomesa整合geoserver基本环境配置所有节点：1.关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service2.主机名映射[...
2019-08-14 17:12:52
6605
6
原创 Kubernetes-Pod的启停和正确处理客户端请求
Kubernetes-Pod的启停和有状态服务 Pod的创建流程生命周期钩子Pod的关闭在有状态服务中优雅的关闭PodPod的创建流程pod是k8s中的基本单元，每个pod都包含了一个特殊的根容器Pause和一或多个紧密相关的业务容器。Pause容器解决了Pod中一个容器死亡是整体死亡还是部分死亡的问题，即以pause容器的状态代表了整个pod的状态。另外pause还简化了pod中容器之间的...
2019-07-29 16:40:40
7796
原创 常见的路由协议
常见的路由协议可以分为两种类型一、内部网关协议内部网关协议(IGP：Interior Gateway Protocol)，适用于单个ISP的统一路由协议的运行，一般由一个ISP运营的网络位于一个AS（自治系统）内，有统一的AS number（自治系统号），用来处理内部路由。RIP、IGRP（Cisco私有协议）、EIGRP（Cisco私有协议）、OSPF、IS-IS等都是内部网关协议。1、...
2019-06-21 11:00:10
64390
2
原创 Database-浅谈Postgresql与Mysql的MVCC实现机制
Database-Postgresql与Mysql的MVCC多版本并发控制原理MVCC介绍Postgresql中MVCC的实现MVCC介绍在早期的数据库理论中，一行元组上有两种锁，一种读锁，一种写锁，读会阻塞写,写也会阻塞读，这对于一个并发繁忙的系统来说代价是异常高昂的。对于传统数据库来说，为了维护数据的一致性和完整性，避免一个事务看到其它并发事务更新而导致看到不一致的数据，通常采用的是LO...
2019-06-11 11:40:51
5766
1
原创 Bigdata-Hbase+Geomesa+Geoserver部署并发布地图服务
Bigdata-Hbase+Geomesa+Geoserver发布地图服务安装java安装hadoop安装hbase安装geomesa安装tomcat和部署geoserver安装java1、卸载预装的java：[root@geomesa geomesa_soft]# rpm -qa|grep javatzdata-java-2017b-1.el7.noarchjava-1.8.0-ope...
2019-06-05 14:40:27
6276
原创 Kubernetes-Trouble shooting思路
1、查看pod详细描述kubectl describe pod…Pod失败的几种情况：1）没有可用的节点调度2）开启了资源配额管理，目标节点资源不足3）镜像下载失败2、查看容器日志kubectl logs pod-name -c container-name3、查看k8s服务日志如果使用了systemd系统管理kubernetes服务，那么systemd的journal系统会接管...
2019-05-28 10:21:04
4506
原创 Database-Mysql-关于文件打开数限制
在Mysql中，打开文件数过多会出现too many open files错误。与文件打开数有关的参数：1、max_connections 最大连接数：增加该值会增加mysqld 要求的文件描述符的数量。如果服务器的并发连接请求量比较大，建议调高此值，以增加并行连接数量，当然这建立在机器能支撑的情况下，因为如果连接数越多，介于MySQL会为每个连接提供连接缓冲区，就会开销越多的内存，所以...
2019-05-21 11:40:46
4534
原创 Database-Mysql-XtraBackup备份实践
Database-Mysql-XtraBackup备份实践全量备份备份阶段创建备份并授权：创建备份路径：安装xtrabackup软件：执行备份：查看备份文件：准备阶段恢复阶段增量备份备份阶段：Prepare阶段恢复阶段操作系统：ubuntu18全量备份备份阶段创建备份并授权：mysql> create user db_backup@‘localhost’ identified by...
2019-05-21 10:41:26
4295
原创 Database-Mysql-事务的隔离级别与死锁案例
Database-Mysql-事务的隔离级别与死锁案例Mysql 的隔离级别：全局修改当前session修改死锁插入导致的死锁--GAP锁和Next-Key锁Mysql 的隔离级别：1）read uncommitted : 读未提交。读取尚未提交的数据 ：就是脏读2）read committed：读已提交。读取已经提交的数据 ：可以解决脏读3）repeatable read：可重复读。重读...
2019-05-20 14:53:56
4795
原创 Database-Mysql-生产环境中删除大表
首先，我们来看在Mysql中删除表时删除线程会做哪些工作。1、清除Buffer Pool缓冲在drop table时，innodb引擎会清理该表在每个buffer pool实例中中对应的数据块页面，为了避免对系统的影响，这里的清除操作并不是真正的flush，而是将涉及到的页面从flush队列中摘除。但在摘除过程中，删除进程会持有每个buffer pool的全局锁，然后搜索这个buffer po...
2019-05-17 15:59:40
4631
原创 浅谈树的数据结构和InnoDB中的B+树索引
浅谈树的数据结构和InnoDB中的B+树索引一、树的概念二、树的相关术语三、树的遍历四、树的链表存储结构五、B+树及B树的区别一、树的概念1、树是 n(n 多 0)个结点的有限集合,一棵树满足以下两个条件:(1)当 n=0 时,称为空树;(2)当 n>0 时,有且仅有一个称为根的结点,除根结点外,真余结点分 m(m≥0)个互不相交的非空集合 T 1 ,T 2 ,…,T m ,这些集...
2019-05-16 14:43:42
4621
原创 Bigdata-使用容器编排工具compose组建Spark集群
Bigdata-使用容器编排工具compose组建Spark集群1.简介2.准备工作3.启动集群4.测试5.执行应用1.简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具...
2019-05-16 11:16:31
4363
原创 Database-Mongodb的容器化实践
Database-Mongodb的容器化实践使用官方镜像To enable free monitoring, run the following command:db.enableFreeMonitoring()使用自定义Dockerfile使用官方镜像1.使用官方镜像[root@adson ~]# docker run --name mongo-container -d mongo[r...
2019-05-16 10:56:25
4435
原创 Kubernetes-k8s网络模型原理
Kubernetes-k8s网络工作原理同节点Pod之间的通信不同节点上的Pod通信CNI插件CalicoFlannelRomanaWeave NetKubernetes 采用的是基于扁平地址空间的、非NAT的网络模型，每个Pod有自己唯一的IP地址。另外需要注意的是：网络是由系统管理员或CNI(container network interface)插件建立的，而非K8S本身。K8S并不...
2019-05-15 17:06:19
12583
原创 Bigdata-CDH-Hadoop生态系统中的RPC性能瓶颈
Bigdata-CDH-Hadoop生态系统中的RPC性能瓶颈一、快汇报配置RPC 是远程过程调用 (Remote Procedure Call)，即远程调用其他虚拟机中运行的 java object。而HDFS的运行建立在RPC上，NameNode的RPC queue time指标可以显示表达这个系统当前状态。在大规模的集群中，RPC变慢的根源在于HDFS的NameNode吞吐量和性能瓶颈...
2019-05-14 14:18:30
8570
原创 Bigdata-Cloudera CDH5生产环境推荐的硬件配置
Bigdata-Cloudera CDH5生产环境推荐的硬件配置Master Node Hardware RecommendationsTypical configurations for worker nodesWorker Nodes—CPUWorker Nodes—RAMWorker Nodes—Disk首先看官方推荐的硬件配置：Master Node Hardware Recommen...
2019-05-14 09:53:00
6883
原创 Bigdata-安装Hbase-1.1.0.1
Bigdata-安装Hbase-1.1.0.1hbase版本为1.1.0.11.下载地址为hbase-1.1.0.1-bin.tar.gz,总共98.1Mzookeeper 版本是3.4.6(zookeeper +hadoop 集群配置请查看https://blog.csdn.net/adson1987/article/details/90199859),官网下载当前3.4.6版本,had...
2019-05-14 09:33:38
4354
原创 Bigdata-Zookeeper 3.4.6集群安装
Bigdata-Zookeeper 3.4.6 Distributed模式集群安装第一步：主机名称到IP地址映射配置第二步：修改ZooKeeper配置文件第三步：远程复制分发安装文件第四步：设置myid第六步：安装验证ZooKeeper集群是一个独立的分布式协调服务集群，“独立”的含义就是说，如果想使用ZooKeeper实现分布式应用的协调与管理，简化协调与管理，任何分布式应用都可以使用，这就要...
2019-05-14 09:25:18
4255
原创 Bigdata-Hadoop 2.6集群安装
Bigdata-Hadoop 2.6集群安装步骤一: 先在3台虚拟机上，设置hostname及修改hosts文件步骤二：在3台虚拟机上安装jdk步骤三：在3台虚拟机上创建专门用户hadoop步骤四：配置ssh免密码登录步骤五：上传并解压hadoop2.6步骤六：修改配置步骤七：将master上的hadoop目录复制到slave01,slave02步骤八：验证环境：linux 6.4 + hado...
2019-05-14 09:19:59
4276
原创 Database-Oracle-Windows操作系统下使用RMAN进行Oracle11g单实例的生产库迁移恢复
Database-Oracle-Windows操作系统下使用RMAN进行Oracle11g单实例的生产库迁移恢复一般（相同同数据库版本）流程软件版本不同的情况正式迁移恢复一般（相同同数据库版本）流程在目标数据库上安装软件原库全备复制文件到目标数据库备份集以及原库上的pfile： create pfile from spfile；根据原库pfile创建或修改没有的目录重做日志路径、控制...
2019-05-14 08:59:38
4789
原创 Kubernetes-为MySQL 提供持久化存储
Kubernetes-为MySQL 数据库提供持久化存储创建 PV 和 PVC。部署 MySQL。向 MySQL 添加数据。模拟节点宕机故障，Kubernetes 将 MySQL 自动迁移到其他节点。验证数据一致性。首先创建 PV 和 PVC，配置如下：[root@master ~]# vi mysql-pv.ymlapiVersion: v1kind: ...
2019-05-14 08:59:27
5237
原创 Openshift-企业容器云落地-openshift3.11集群安装
Openshift-企业容器云落地-openshift集群安装节点规划DNS搭建所有节点：配置ETCD节点：配置Master节点1、Master安装epel：2、安装ansible pyOpenSSL:3、配置各个节点和master节点的互信4、下载openshift-ansible源码5、配置ansible6、下载如下docker镜像，并上传到私有镜像仓库中.(离线安装使用)7、开始安装集群8、...
2019-05-14 08:59:14
5814
原创 Openshift-all in one安装及使用
针对不同的操作系统有不同的做法参考官网https://docs.okd.io/latest/getting_started/administrators.html#downloading-the-binary设置dockervim /usr/lib/systemd/system/docker.service在启动docker的后面添加 这个地址需要按照实际情况定义后面可修改–insecu...
2019-05-14 08:58:17
5205
原创 Openshift-minishift安装
这里安装的是1.28.0具体过程参考官方文档：https://docs.okd.io/latest/minishift/getting-started/quickstart.html现介绍实验时遇到的问题及解决方法。minishift安装时会自动下载openshift等镜像文件，需确保网络或离线预先下载所需文件。网络不好可能出现以下：1.-- Checking if requested...
2019-05-14 08:58:07
5665
4
原创 Mesos-日志和监控功能
Mesos-日志和监控功能主节点监控从节点监控Mesos自身提供了强大的日志和监控功能，某些应用框架也提供了针对框架中任务的监控能力。通过这些接口，用户可以实时获取集群的各种状态。日志文件默认在/var/log/mesos目录下，根据日志等级带有不同的后缀。用户可以通过日志来调试使用中碰到的问题。一般推荐用–log_dir选项来指定日志存放路径，并通过日志分析引擎来进行监控。Mesos...
2019-05-13 14:31:03
5408
原创 Mesos-软件源方式安装配置说明
Mesos-软件源方式安装配置说明（1）Zookeeper（2）Mesos（3）Marathon访问Mesos和Marathon图形界面：REST API操作基于Docker容器的任务以软件源方式安装为例，解释如何修改各个配置文件。（1）Zookeeperzookeeper是一个分布式应用的协调工具，用来管理多个主节点的选举和冗余，监听在2181端口，推荐至少布置三个主节点来由Zookeep...
2019-05-13 14:26:26
4629
原创 Mesos-安装和使用
Mesos-安装和使用(1)源码编译方式（2）软件源安装方式（3）基于Docker的方式Mesos项目是源自UC Berkeley对集群资源进行抽象和管理的开源项目，类似于操作系统内核，用户可以使用它很容易地实现分布式应用的自动化调度。同时，Mesos自身也很好地结合了Docker等相关容器技术，基于Mesos已有的大量应用框架，可以实现用户应用的快速上线。软件包：mesos、zookeep...
2019-05-13 14:13:14
7098
原创 Database-Postgresql-Centos 7安装citus集群
Database-Postgresql-Centos 7安装citus集群第一步：扩展依赖安装：第二步：安装citus源：第三步：配置postgresql源：第四步：安装citus和postgresql10、postgis2.5第五步：initialize a database第六步：Configure connection and authentication：第七步：Start databas...
2019-05-13 13:53:08
4911
原创 Database-Postgresql-Centos 7安装xl集群
Database-Postgresql-Centos 7安装xl集群基础配置第一步：配置主机名第二步：关闭防火墙第三步：关闭selinux第四步：基础依赖包安装第五步：重启使其之前配置生效第六步： 创建postgres用户第七步：设置ssh免密第八步：将gtm节点的ssh免密文件复制到datanode存储节点第九步：开始安装postgresql-xl第十步：配置基础环境变量第十一步：使环境变量生效...
2019-05-13 13:47:37
4569
2
原创 BigData-HDFS的块分发机制
HDFS复制分发数据块：HDFS Block Replication Strategy▪ First copy of the block is placed on the same node as the client─ If the client is not part of the cluster, the first block is placed on a randomnode─...
2019-05-13 13:37:11
4511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人