- 博客(87)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 java.lang.NoClassDefFoundError: scala/xml/MetaData
我在ide里面运行一个spark的程序，代码如下： import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; public class testSpark { public static void main(String[...
2019-12-31 22:12:39
1016
转载 PostgreSQL流复制热备
关于pg热备与主备切换网上很多内容都有了，本文仅为自己测试使用，特意记录过程，或对其他人提供参考。本文作者选择pg9.6.1版本作为测试。一 主备机器规划主机名 | IP | 角色 | 端口:----:|:----:|:----:|:----:|:----:|:----:master| 192.168.0.108 |Master|5432slave|192.168.0.109|...
2019-12-31 11:20:13
379
转载 centos7 安装最新版postgresql10
在mysql被收购之后，大家发现了另一款开源的数据库，postgresql，虽然centos自带版本9.2也可以用，但是最近的几次升级支持了更多更新的内容，比如，PostgreSQL有一个MySQL无法比拟的优势，那就是PostGIS，PostGIS可以完美支持空间数据存储和空间分析；从PostgreSQL9.3起就内置了JSON数据类型，而9.4又开始支持JSONB，这标志着Postgre...
2019-12-30 18:07:18
114
转载 CentOS7 下安装 PostgreSQL10
方法一：1、Install therepository RPM:yum installhttps://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-redhat10-10-2.noarch.rpm2、Install the clientpackages:yum install postgr...
2019-12-30 18:06:31
384
转载 PostgreSQL修改数据库目录/数据库目录迁移
说明：以9+版本为例，10+的版本只要把目录替换一下即可。迁移目录肯定是要停服的！1、在数据库软件安装之后，初始化数据库时候，可以指定初始化时创建的数据库的默认文件路径/usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data这样初始化之后，再修改配置文件postgresql.conf为修改之后的数据文件路径，就能保证以后的数据文件...
2019-12-30 17:59:43
1760
转载 PGPool-II+PG流复制实现HA主备切换
基于PG的流复制能实现热备切换，但是是要手动建立触发文件实现，对于一些HA场景来说，需要当主机down了后，备机自动切换，经查询资料知道pgpool-II可以实现这种功能。本文基于PG流复制基础上 ，以pgpool-II实现主备切换。在配置pgpool之前需分别在两台规划机上安装好pg数据库，且配置好了流复制环境，关于流复制配置参考前文：http://www.jianshu.com/p/12...
2019-12-30 15:45:57
365
转载 pgpool-II的安装及使用
简介pgpool-II 是一个位于 PostgreSQL 服务器和 PostgreSQL 数据库客户端之间的中间件，它提供以下功能：连接池 pgpool-II 保持已经连接到 PostgreSQL 服务器的连接，并在使用相同参数（例如：用户名，数据库， 协议版本）连接进来时重用它们。它减少了连接开销，并增加了系统的总体吞吐量。复制 p...
2019-12-30 15:27:37
1212
转载 基于Pgpool-II的PostgreSQL集群
安装Pgpool-IIPgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件，Pgpool-II提供了连接池（Connection Pooling）、复制（Replication）、负载均衡（Load Balancing）、缓存（In Memory Query Cache）、看门狗（Watchdog）、超出限制链接（Limiting ...
2019-12-30 14:07:47
521
转载 Cassandra 在 360 的实践与改进
摘要: Cassandra 完全无中心化设计使得其具备极高的可用性和可平滑的拓展性，并且具有模式灵活，多数据中心，范围查询，列表数据结构，分布式写操作等优势： 由于其架构在中小规模部署时不需要主节点，相较于完全中心化的 ... 2010年，Dropbox 在线云存储在国外被用户熟知，同时国内如360、金山、百度等各个厂商也都陆续推出了自家的网盘类产品；而在 "...
2019-12-30 14:03:50
172
转载 postgresql 高可用集群搭建资料
多种方案，含zookeeper方案 ：PostgreSQL 流行 HA 方案1. 自己实现高可用集群有实例有讲解！postgresql 高可用集群搭建 ：PostgreSQL_HA_with_primary_standby_2vip2. pgpool 实现高可用集群pgpool+Keepalived 实现postgresql 高可用集群：PostgreSQL+pgpooll...
2019-12-30 11:14:01
1108
转载 PostgreSQL实战之双机热备(一)
长久以来数据在企业发展中都起着至关重要的作用，在网络科技高度发达的今天，系统业务复杂度与日俱增，数据量也成几何式增长，那么数据灾备方案显得越来越重要。双机热备按切换方式可分为：主-备方式（Active-Standby）和双主机方式（Active-Active），两种方式各有优缺点，可以根据实际情况选择适合自己的方案。PostgreSQL实现双机热备的方案有很多第三方软件，今天主要来说一说...
2019-12-29 22:18:45
1310
转载 PostgreSQL实战之双机热备(二)
上一篇文章主要讲了双机热备的主-备方式（Active-Standby），今天来说一下另外一种方式：双主方式（Active-Active）。PostgreSQL 9.4之前的版本并不支持双主方式，只能采用第三方插件来实现，比如：Bucardo、Pgpool、Slony等，这些都是基于触发器的解决方案，虽然从理论上解决了问题但其实并不是一个好的解决方案。令人欣喜的是从PostgreSQL 9...
2019-12-29 22:15:31
898
1
转载 Postgresql集群搭建与PostGIS安装
目录Postgresql集群搭建手册一、软件安装预先准备工作二、Postgresql安装 (附带PostgreGIS安装) 2.1 potgresql安装 2.2 postgres常见错误说明三、PostgreGIS安装 postGIS四．Postgresql数据库备份与恢复五．postgresSQL集群重启Postgresql集群搭建手册一、软件安装预先准...
2019-12-27 18:58:31
643
转载 postgresql双机热备、高可用方案（采用pacemaker+corosync实现）
PostgreSQL高可用需求描述我们有两台centos7的数据库主机A、B。要对A、B实现双机热备，A作为数据库master主机，对外提供读写服务，B作为slave主机能实时同步A的数据。当A发生故障时，B从slave状态切换到master状态，以保证pg数据库能正常对外提供服务。经过调研，最终我们给出的解决方案是采用pacemaker和corosync组件来实现postgresql的...
2019-12-27 11:38:56
1574
转载 postgresql高可用集群安装
一、hosts and topology structure of pg cluster1.host infoscluster01_node01 192.168.0.108cluster01_node02 192.168.0.109cluster02_node03 192.168.0.1102.topology structure ...
2019-12-27 11:31:48
1264
转载 OLTP和OLAP的区别
OLTP和OLAP的区别联机事务处理OLTP（on-linetransactionprocessing） 主要是执行基本日常的事务处理，比如数据库记录的增删查改。比如在银行的一笔交易记录，就是一个典型的事务。OLTP的特点一般有：1.实时性要求高。我记得之前上大学的时候，银行异地汇款，要隔天才能到账，而现在是分分钟到账的节奏，说明现在银行的实时处理能力大大增强。2.数据量...
2019-12-26 17:38:42
125
转载 OLAP和OLTP的区别(基础知识)
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Anal...
2019-12-26 17:37:47
648
转载 PostgreSQL pipelinedb 流计算插件 - IoT应用 - 实时轨迹聚合
背景IoT场景，车联网场景，共享单车场景，人的行为位点等，终端实时上报的是孤立的位点，我们需要将其补齐成轨迹。例如共享单车，下单，开锁，生成订单，骑行，关闭订单，关锁。这个过程有一个唯一的订单号，每次上报的位点会包含时间，订单号，位置。根据订单号，将点聚合为轨迹。使用pipelinedb插件，可以实时的实现聚合。例子以ECS (centos 7.x x64), pos...
2019-12-26 13:51:04
670
转载 PostgreSQL IoT，车联网 - 实时轨迹、行程实践 1
背景车联网，IoT场景中，终端为传感器，采集各个指标的数据（同时包括时间、GIS位置信息，速度，油耗，温度，EDU采集指标），在运动过程中，通过GPS准实时上报到服务端。服务端则通常根据设备（比如车辆）、时间范围，查询指定设备在某个时间区间的行程。例如：1、设备轨迹点表create table tbl ( id int primary key, -- 主键 ...
2019-12-26 13:49:11
769
转载 PostgreSQL IoT，车联网 - 实时轨迹、行程实践 2 - (含index only scan类聚簇表效果)
标签PostgreSQL , 实时轨迹 , IoT , 车联网 , GIS , 离散IO , 顺序IO , IO放大 , 聚合 , PGLZ压缩解压缩 , IN OUT函数消耗背景车联网场景，一个行程由若干个点组成，业务需要按行程查询，按。但是问题来了：一个行程包含多个点，那么一次查询意味着需要查询并返回多个点（多条记录）。由于有多个设备（例如汽车），大概率可能同时活跃，同...
2019-12-26 13:47:49
515
转载 PostgreSQL index include - 类聚簇表与应用(append only, IoT时空轨迹, 离散多行扫描与返回)
标签PostgreSQL , 离散扫描 , IoT , append only , 类聚簇 , index include背景https://use-the-index-luke.com/blog/2019-04/include-columns-in-btree-indexes当一次SQL请求需要返回较多行，或者需要扫描较多行（即使使用索引）时，如果这些行在HEAP表中并非密...
2019-12-26 13:45:53
1169
转载 PostgreSQL 实时位置跟踪+轨迹分析系统实践 - 单机顶千亿轨迹/天
标签PostgreSQL , PostGIS , 动态更新位置 , 轨迹跟踪 , 空间分析 , 时空分析背景随着移动设备的普及，越来越多的业务具备了时空属性，例如快递，试试跟踪包裹、快递员位置。例如实体，具备了空间属性。例如餐饮配送，送货员位置属性。例如车辆，实时位置。等等。其中两大需求包括：1、对象位置实时跟踪，例如实时查询某个位点附近、或某个多边形区域内的送货员。2...
2019-12-26 11:46:54
1194
转载 阿里云HBase Ganos在海量实时轨迹中的应用(一)
场景需求在移动对象轨迹监控与分析的项目中，收集了数十万的车辆信息，每个车辆会定时的上报当前位置、事件、状态等信息，每天约数亿条轨迹点，需要能够存储。且前端用户在查询时，要能快速返回目标船舶的信息。入库需求：轨迹数据，每日新增10亿条左右，包括时间点、经纬度坐标、对象当前的属性信息基本不涉及到数据的修改（不断的追加数据）查询需求：区域回放：根据时间和空间范围两个维度共同查...
2019-12-26 11:11:54
279
转载 Linux中Swap与Memory内存简单介绍
1.背景介绍 这篇文章介绍一下Linux中swap与memory。对于memory没什么可说的就是机器的物理内存，读写速度低于cpu一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存的造价是要高于磁盘的，虽然相对来说价格一直在降低。除此之外，内存的断电丢失数据也是一个原因说不能把所有数据和程序都保存在内存中。既然不能全部使用内存，那数据...
2019-12-25 14:28:25
187
转载 循环有序数组的二分查找
问题：请实现以下函数int indexOf(int [] array ,int key) ,给定一个循环有序的数组，请在这个数组中找到指定元素，找到的话返回下标，没找到返回-1。：解决：首先，使用二分查找找到数组的 “临界点”,临界点满足两个情况：array[left] < array[mid]array[left] <= array[mid]只有确定分界点，确定了key...
2019-12-24 21:29:13
582
转载 循环有序数组二分查找
算法描述，一个有序的数组，从开始到中间截取一段数组放到数组的尾部，这个数组会变成循环有序的数组，在这个循环有序的数组中进行二分查找例如 1，2，3，4，5，6，7，8，9 截取前4位放到尾部会变成5，6，7，8，9，1，2，3，4 变成循环有序的数组算法实现：采用二分查找的方式，获取中间的一个数组，然后看一下转折点在中间数的左边还是右边，然后进行分情况讨论具体实现代码如下：...
2019-12-24 21:14:59
1032
1
转载 HBase shell 中的十六进制数值表示
在使用Hbase shell 进行get 或scan操作时,时不时会看到一些数值被转成了16进制, 就像下面那样value=W\x5C5\x80那么这个值具体等于多少? 查阅资料后发现算法如下W -> W的ASCII码16进制 为 0x57\x5C -> 就是16进制不变 0x5C5 -> 5的ASCII码16进制 为 0x35\x80 ->...
2019-12-24 18:35:11
1638
转载 HBASE中文转换
/**2 * HBASE中文转换3 */4 @Test5 public void testHbaseStr() throws Exception {6 // Hbase UTF8编码7 String content = “\xE7\x83\xA6”;8 char[] chars = content.toCharArray();9 StringBuffer sb = new Stri...
2019-12-24 18:04:07
685
转载 kafka不停止服务的情况下修改日志保留时间
kafka配置文件如下：broker.id=1port=9092host.name=ssy-kafka1num.network.threads=4num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.request.max.bytes=10485...
2019-12-24 14:47:25
1183
转载 Java 求一个数的平方根，不能使用java自带的Math.sqrt()函数
输入int类型整数t，求t的平方根，返回类型为double。思路：先确定当前数所处的最小整数区间， （如果开方之后还是整数值，那就直接返回）然后再通过二分法来进行判断检测 （确定一个精确值，当二分相差小于精确值，则返回当前二分区间中间值）思考：有必要先找出最小整数区间吗？当然有必要。如果给的数刚好开方后是整数类型，直接用二分法是没办法获取精确的整数的。pa...
2019-12-22 22:29:55
800
转载 不用函数库求一个数的平方根 （java版）
一、题目 编写程序求一个整数的平方根，精确到小数点后三位二、解法 1） 采用牛顿迭代法。 2）牛顿迭代法简介 假设方程在附近有一个根，那么用以下迭代式子： 依次计算、、、……，那么序列将无限...
2019-12-22 13:27:41
638
转载 PostgreSQL中使用动态SQL-实现自动按时间创建表分区
PostgreSQL中通过继承，可以支持基本的表分区功能，比如按时间，每月创建一个表分区，数据记录到对应分区中。按照官方文档的操作，创建子表和index、修改trigger等工作都必须DBA定期去手动执行，不能实现自动化，非常不方便。尝试着通过在plpgsql代码中使用动态SQL, 将大表分区的运维操作实现自动化, 并且可以重用. 假设某个表 tbl_partition 中有...
2019-12-20 19:01:59
1196
1
转载 PostgreSQL分区表（Table Partitioning）应用
一、简介 在数据库日渐庞大的今天，为了方便对数据库数据的管理，比如按时间，按地区去统计一些数据时，基数过于庞大，多有不便。很多商业数据库都提供分区的概念，按不同的维度去存放数据，便于后期的管理，PostgreSQL也不例外。 PostgresSQL分区的意思是把逻辑上的一个大表分割成物理上的几块儿。分区不仅能带来访问速度的提升，关键的是，它能带来管理和维护上的方便。 分区的...
2019-12-20 19:00:52
351
转载 PostgreSQL分区表（partitioning）应用实例
前言项目中有需求要垂直分表，即按照时间区间将数据拆分到n个表中，PostgreSQL提供了分区表的功能。分区表实际上是把逻辑上的一个大表分割成物理上的几小块，提供了很多好处，比如：查询性能大幅提升删除历史数据更快可将不常用的历史数据使用表空间技术转移到低成本的存储介质上那么什么时候该使用分区表呢？官方给出的指导意见是：当表的大小超过了数据库服务器的物理内存大小则应当使用分区表，接...
2019-12-20 14:58:39
613
1
转载 一次给女朋友转账引发我对分布式事务的思考
前两天发了工资，第一反应是想着要给远方的女朋友一点惊喜！于是打开了平安银行的APP给女朋友转点钱！填写上对方招商银行卡的卡号、开户名，一键转账！搞定！在我点击的那瞬间，就收到了app的账户变动的提醒，并且出现了图一所示的提示界面：“处理中，正在等待对方银行返回结果…”。嗯！毕竟是跨行转账嘛，等个几秒也正常！脑海开始浮现出女朋友收到转账后惊喜与感动的画面！ 然而，一切并...
2019-12-20 14:20:16
184
转载 postgreSQL实现批量插入、更新与合并操作的方法
这篇文章主要给大家介绍了关于PostgreSQL实现批量插入、更新与合并操作的相关资料，文中通过图文以及示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧前言就在 2019 年 1 月份微软收购了 PostgreSQL 数据库的初创公司CitusData, 在云数据库方面可以增强与 AWS 的竟争。AWS 的 RDS 两大开源...
2019-12-19 20:41:35
6644
1
转载 PostgreSQL_如何实现批量更新、删除、插入
标签PostgreSQL , 批量 , batch , insert , update , delete , copy背景如何一次插入多条记录？如何一次更新多条记录？如何一次批量删除多条记录？批量操作可以减少数据库与应用程序的交互次数，提高数据处理的吞吐量。批量插入批量插入1使用insert into ... select的方法postgres=# ins...
2019-12-19 20:38:26
5042
转载 InfluxDB&Grafana实战总结
前言 下拉框动态取值 下拉框支持中文 增加timeshift功能 influxdb-timeshift-proxy优化 CQ预聚合 控制tag数量和取值范围 InfluxDB数据覆盖问题前言本文就使用InfluxDB和Grafana的过程中遇到的问题、知识点进行总结记录，不会涉及InfluxDB和Grafana的基本用法，读者需要对InfluxDB和Grafana有一定了解。...
2019-12-19 15:06:06
2064
转载 postgresql批量插入数据
正常情况下，数据库插入一条数据耗时余额几十毫秒，这在大多数情况下是可以接受的；但是如果一次性需要插入几千、几万甚至更大数据量的时候，时间就有些长了，这个时候就需要稍微修改一下sql语句，使之可以批量插入大量数据 ；插入一条数据sql:INSERT INTO w008_test_insert(id, is_removed, work_id, taskid, wfid, e2eid, cre...
2019-12-19 11:20:46
3016
转载 postgresql 分区表
postgresql 分区表传统的分区表创建比较繁琐，涉及到触发器，继承，触发器函数等，维护相对困难，postgresql10之后支持内置的分区表。1创建父表create table test (id int4,times timestamp(0),name text)partition by range(times)（目前只支持range以及list）根据times字段的范围进...
2019-12-18 17:52:21
498
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人