jc_benben的专栏

问题背景　　近期遇到一个计算几何问题，需要从点集中重建一个合理的几何形状。这个问题既有二维的也有三维的，二维的情况相对简单一点，即给出平面区域的一系列散点，求出一定程度上反映这些散点轮廓的平面多边形，给出边的连接方式即可。如从下图的左图散点重建为右图的形状： 二维平面散点 平面多边形 　　不过这里有一些细节需要注意，必须明确这一系列点的含义，有时给出的点集是表征图形边界的，如左图的情况；有时则是表征图形所覆盖的范围，即在图形的内部也有一定的点分布

UML（Unified Modeling Language）是一种统一建模语言，为面向对象开发系统的产品进行说明、可视化、和编制文档的一种标准语言。下面将对UML的九种图+包图的基本概念进行介绍以及各个图的使用场景。想要知道UML更多内容的朋友，可以点击以下课程学习相关知识：　　【免费】UML软件设计与建模快乐之旅（精讲版）-1-课程介绍- IT老兵的在线视频教程-CSDN程序员研修院一、基本概念　　　　如下图所示，UML图分为用例视图、设计视图、进程视图、实现视图和拓扑视图，又可以静动分为

postgresql支持的几何类型如下表：名字 存储空间 描述 表现形式 point 16字节 平面上的点 (x,y) line 32字节 直线 {A,B,C} lseg 32字节 线段 ((x1,y1),(x2,y2)) box 32字节 矩形 ((x1,y1),(x2,y2)) path 16+16n字节 闭合路径 ((x1,y1),...) path 16+16

以PostGIS2.4版本说明，当前PostGIS已经提供了4种空间聚类的方法，列表如下：ST_ClusterDBSCAN ST_ClusterIntersecting ST_ClusterKMeans ST_ClusterWithin 本文简单用图形化的方式简述一下这几种方法如何使用。一 ST_ClusterDBSCANST_ClusterDBSCAN是一个窗口函数，基于DBSCAN算法，返回每一个输入的2D图形所在“簇”的id。定义：integer ST_ClusterDBSCAN(

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。大数据技术讨论的是，如何利用更多的计算机满足大规模的数据计算要求。大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据。面对如此庞大的

背景据说，英语中元数据meta一词最早出现于1968年，其是对希腊语前缀"meta-"的粗略翻译，用于表明更抽象层次的事物。尽管元数据一词只有几十年的历史，然而几千年的图书馆管理员们一直在工作中使用着元数据，只不过我们先所谓的“元数据”是历史上被称为"图书馆目录信息"。图书目录中的信息解决了一个十分关键的问题，就是如何帮助用户在图书馆快速地、准确地找到想要的资料。图为爱尔兰最古老的都柏林圣三一学院图书馆图书目录中依然延续至今的信息片段：书名、作者或整理、主题、简介和篇幅。但如今其含有更...

自2012年以来，公安部交通管理局在全国范围内推广了机动车缉查布控系统（简称卡口系统），通过整合共享各地车辆智能监测记录等信息资源，建立了横向联网、纵向贯通的全国机动车缉查布控系统，实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。随着联网单位和接入卡口的不断增加，各省市区部署的机动车缉查布控系统积聚了海量的过车数据。截至目前，全国32个省（区、市）已完成

交通领域正产生着海量的车辆位置点数据。将这些车辆位置信息和道路进行关联的统计操作则是一项颇为浩大的工作，而随着Hadoop技术的成熟和普及，使得在海量数据中进行该统计运算的工作变得相对容易了很多。本文将介绍一种通过使用地理网格进行数据关联，并利用Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。中华人民共和国交通运输部、中华人民共和国公安部、国家安全生产监督管理总局于2014年1月28日公布了《道路运输车辆动态监督管理办法》，在该文件中规定，自2014年7月1日起，国内道路运输车

有时候，对于在多线程中使用static变量有没有冲突，是否存在安全问题不能十分的确定。在使用过程中有点含糊，总想找点时间好好追究一下，可总因开发项目时间的紧迫而搁浅。我想，没有做进一步的研究而拿项目繁忙说事，这是自己的借口吧！鲁迅先生曾说过：“时间就像海绵里的水，只要愿挤，总还是有的”。不管肿(怎)么说，这事还是要做的啊。如果越往后推，可能造成的潜在影响更大。这始终是个隐患，不能不除。不是痛定思痛，而是认识到事情的重要性，就要开始行动了... ......

前言本文是讲如何使用spark ml进行线性回归，不涉及线性回归的原理。1、数据格式1.1 普通标签格式1.1.1 格式为：标签,特征值1 特征值2 特征值3...1,1.92,3.13,43.5,4.454,5.029,9.97-2,-0.981.1.2 spark 读取1、Rdd旧版（mllib）的线性回归要求传入的参数类型为RDDLabeledPointimport org.apache.spark.SparkConfimport or

为什么需要ANALYZE首先介绍下RBO和CBO，这是数据库引擎在执行SQL语句时的2种不同的优化策略。RBO（Rule-Based Optimizer）基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此：比如 一张个人信息表中性别栏目加上索引，由于性别是只有2个值的枚举类，也就是常说的基数非常低的列，在这种列上

为什么需要ANALYZE首先介绍下RBO和CBO，这是数据库引擎在执行SQL语句时的2种不同的优化策略。RBO（Rule-Based Optimizer）基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此：比如 一张个人信息表中性别栏目加上索引，由于性别是只有2个值的枚举类，也就是常说的基数非常低的列，在这种列上

天：#!/bin/bash#firstDay=`date -d "-1 day" +%Y%m%d`firstDay="20210101"endDay="20210201"#遍历某月的每一天while (( $firstDay < $endDay ))dobeeline -e "select * from dw.dw_doc_phone_$firstDay " > $firstDay.csvfirstDay=`date -d "+1 day $firstDay" +%

天：#!/bin/bash#firstDay=`date -d "-1 day" +%Y%m%d`firstDay="20210101"endDay="20210201"#遍历某月的每一天while (( $firstDay < $endDay ))dobeeline -e "select * from dw.dw_doc_phone_$firstDay " > $firstDay.csvfirstDay=`date -d "+1 day $firstDay" +%

存储格式介绍Greenplum（以下简称GP）有2种存储格式，Heap表和AO表（AORO表，AOCO表）。Heap表：这种存储格式是从PostgreSQL继承而来的，目前是GP默认的表存储格式，只支持行存储。 AO表： AO表最初设计是只支持append的（就是只能insert），因此全称是Append-Only，在4.3之后进行了优化，目前已经可以update和delete了，全称也改为Append-Optimized。AO支持行存储（AORO）和列存储（AOCO）。Heap表Heap表

什么是分区表分区表就是将一个大表在物理上分割成若干小表，并且整个过程对用户是透明的，也就是用户的所有操作仍然是作用在大表上，不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PG一样，都是通过表继承和约束实现的。Greenplum官方给出的分区表示例如下：partitions.jpg与分布的区别分布：DISTRIBUTED分区：PARTITIONGreenplum中每个表都需要有一个分布键，如果你建表的时候没有显示使用语法DISTRIBUTED.

GPDB一旦启动后，只关心segment实例，跟具体的物理机器没有关系。所以，每个host上配置的segment数量是可以不一样的，除了数量不一样之外，其它配置也可以不一样（例如，不同的数据目录）。我们公司的云服务在某些情况下就是在这种异构情况下运作的，而且已经顺利运作了很长时间了。所以，理论上是可行的。主要的问题是，现在无论是开源版本的GPDB还是Pivotal的官方版本，几乎所有的管理脚本，包括系统初始化脚本、扩容脚本等，都是假设所有物理机器是同构的。所以，你几乎不可能初始化一个异构的GPDB集群。

数据库版本postgresql13.2postgres_fdw方便了pg之间的访问，兼容性请参照官网：http://www.postgres.cn/docs/13/postgres-fdw.html另外还有mysql_fdw等file_fdw 是为了直接访问外部文件一种特性postgres_fdw例子，这里用一台服务器测试，用户u1本地账户，test本地库；u2远程账户，test2远程库管理员执行：create database test;create user u1 with

先在有网络的机器上下载rpmcitus10 + postgresql13# Add Citus repository for package managercurl https://install.citusdata.com/community/rpm.sh | sudo bash# 安装使用yumdownloader下载安装包yum -y install yum-utils# 下载安装包以及依赖yumdownloader citus100_13 --resolve --destdir