朝闻道-夕死可矣-CSDN博客

转载从二维点集重建平面形状-浅议凹包算法-转

问题背景　　近期遇到一个计算几何问题，需要从点集中重建一个合理的几何形状。这个问题既有二维的也有三维的，二维的情况相对简单一点，即给出平面区域的一系列散点，求出一定程度上反映这些散点轮廓的平面多边形，给出边的连接方式即可。如从下图的左图散点重建为右图的形状：二维平面散点平面多边形　　不过这里有一些细节需要注意，必须明确这一系列点的含义，有时给出的点集是表征图形边界的，如左图的情况；有时则是表征图形所覆盖的范围，即在图形的内部也有一定的点分布

2022-01-26 13:43:07 2776 1

转载 UML各种图总结

UML（Unified Modeling Language）是一种统一建模语言，为面向对象开发系统的产品进行说明、可视化、和编制文档的一种标准语言。下面将对UML的九种图+包图的基本概念进行介绍以及各个图的使用场景。想要知道UML更多内容的朋友，可以点击以下课程学习相关知识：　　【免费】UML软件设计与建模快乐之旅（精讲版）-1-课程介绍- IT老兵的在线视频教程-CSDN程序员研修院一、基本概念　　　　如下图所示，UML图分为用例视图、设计视图、进程视图、实现视图和拓扑视图，又可以静动分为

2021-11-08 09:10:41 6026

原创 postgresql几何类型和函数

postgresql支持的几何类型如下表：名字存储空间描述表现形式 point 16字节平面上的点 (x,y) line 32字节直线 {A,B,C} lseg 32字节线段 ((x1,y1),(x2,y2)) box 32字节矩形 ((x1,y1),(x2,y2)) path 16+16n字节闭合路径 ((x1,y1),...) path 16+16

2021-10-10 23:12:09 835

转载 PostGIS--空间聚合的简单用法

以PostGIS2.4版本说明，当前PostGIS已经提供了4种空间聚类的方法，列表如下：ST_ClusterDBSCAN ST_ClusterIntersecting ST_ClusterKMeans ST_ClusterWithin 本文简单用图形化的方式简述一下这几种方法如何使用。一 ST_ClusterDBSCANST_ClusterDBSCAN是一个窗口函数，基于DBSCAN算法，返回每一个输入的2D图形所在“簇”的id。定义：integer ST_ClusterDBSCAN(

2021-10-10 23:02:12 2795

转载大数据架构简介

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。大数据技术讨论的是，如何利用更多的计算机满足大规模的数据计算要求。大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据。面对如此庞大的

2021-09-17 23:30:29 5537

转载元数据是数据治理的基石

背景据说，英语中元数据meta一词最早出现于1968年，其是对希腊语前缀"meta-"的粗略翻译，用于表明更抽象层次的事物。尽管元数据一词只有几十年的历史，然而几千年的图书馆管理员们一直在工作中使用着元数据，只不过我们先所谓的“元数据”是历史上被称为"图书馆目录信息"。图书目录中的信息解决了一个十分关键的问题，就是如何帮助用户在图书馆快速地、准确地找到想要的资料。图为爱尔兰最古老的都柏林圣三一学院图书馆图书目录中依然延续至今的信息片段：书名、作者或整理、主题、简介和篇幅。但如今其含有更...

2021-09-17 23:29:31 405

转载基于spark的车辆分析

自2012年以来，公安部交通管理局在全国范围内推广了机动车缉查布控系统（简称卡口系统），通过整合共享各地车辆智能监测记录等信息资源，建立了横向联网、纵向贯通的全国机动车缉查布控系统，实现了大范围车辆缉查布控和预警拦截、车辆轨迹、交通流量分析研判、重点车辆布控、交通违法行为甄别查处及侦破涉车案件等应用。在侦破肇事逃逸案件、查处涉车违法行为、治安防控以及反恐维稳等方面发挥着重要作用。随着联网单位和接入卡口的不断增加，各省市区部署的机动车缉查布控系统积聚了海量的过车数据。截至目前，全国32个省（区、市）已完成

2021-08-10 09:25:07 1353

转载基于Hadoop技术进行地理空间分析

交通领域正产生着海量的车辆位置点数据。将这些车辆位置信息和道路进行关联的统计操作则是一项颇为浩大的工作，而随着Hadoop技术的成熟和普及，使得在海量数据中进行该统计运算的工作变得相对容易了很多。本文将介绍一种通过使用地理网格进行数据关联，并利用Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。中华人民共和国交通运输部、中华人民共和国公安部、国家安全生产监督管理总局于2014年1月28日公布了《道路运输车辆动态监督管理办法》，在该文件中规定，自2014年7月1日起，国内道路运输车

2021-08-10 09:21:35 657

转载 Java多线程中static变量的使用

有时候，对于在多线程中使用static变量有没有冲突，是否存在安全问题不能十分的确定。在使用过程中有点含糊，总想找点时间好好追究一下，可总因开发项目时间的紧迫而搁浅。我想，没有做进一步的研究而拿项目繁忙说事，这是自己的借口吧！鲁迅先生曾说过：“时间就像海绵里的水，只要愿挤，总还是有的”。不管肿(怎)么说，这事还是要做的啊。如果越往后推，可能造成的潜在影响更大。这始终是个隐患，不能不除。不是痛定思痛，而是认识到事情的重要性，就要开始行动了... ......

2021-08-02 16:16:24 766

转载 spark ML算法之线性回归使用

前言本文是讲如何使用spark ml进行线性回归，不涉及线性回归的原理。1、数据格式1.1 普通标签格式1.1.1 格式为：标签,特征值1 特征值2 特征值3...1,1.92,3.13,43.5,4.454,5.029,9.97-2,-0.981.1.2 spark 读取1、Rdd旧版（mllib）的线性回归要求传入的参数类型为RDDLabeledPointimport org.apache.spark.SparkConfimport or

2021-07-25 23:59:00 406 2

转载 Greenplum性能优化之路 --（三）ANALYZE

为什么需要ANALYZE首先介绍下RBO和CBO，这是数据库引擎在执行SQL语句时的2种不同的优化策略。RBO（Rule-Based Optimizer）基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此：比如一张个人信息表中性别栏目加上索引，由于性别是只有2个值的枚举类，也就是常说的基数非常低的列，在这种列上

2021-07-11 20:58:52 612

原创 shell按照天小时遍历

天：#!/bin/bash#firstDay=`date -d "-1 day" +%Y%m%d`firstDay="20210101"endDay="20210201"#遍历某月的每一天while (( $firstDay < $endDay ))dobeeline -e "select * from dw.dw_doc_phone_$firstDay " > $firstDay.csvfirstDay=`date -d "+1 day $firstDay" +%

2021-07-11 17:34:54 430

转载 Greenplum性能优化之路 --（二）存储格式

存储格式介绍Greenplum（以下简称GP）有2种存储格式，Heap表和AO表（AORO表，AOCO表）。Heap表：这种存储格式是从PostgreSQL继承而来的，目前是GP默认的表存储格式，只支持行存储。 AO表： AO表最初设计是只支持append的（就是只能insert），因此全称是Append-Only，在4.3之后进行了优化，目前已经可以update和delete了，全称也改为Append-Optimized。AO支持行存储（AORO）和列存储（AOCO）。Heap表Heap表

2021-07-10 08:38:11 1489

转载 Greenplum性能优化之路 --（一）分区表

什么是分区表分区表就是将一个大表在物理上分割成若干小表，并且整个过程对用户是透明的，也就是用户的所有操作仍然是作用在大表上，不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PG一样，都是通过表继承和约束实现的。Greenplum官方给出的分区表示例如下：partitions.jpg与分布的区别分布：DISTRIBUTED分区：PARTITIONGreenplum中每个表都需要有一个分布键，如果你建表的时候没有显示使用语法DISTRIBUTED.

2021-07-10 08:37:51 1239

转载 Greenplum优化方案

GPDB一旦启动后，只关心segment实例，跟具体的物理机器没有关系。所以，每个host上配置的segment数量是可以不一样的，除了数量不一样之外，其它配置也可以不一样（例如，不同的数据目录）。我们公司的云服务在某些情况下就是在这种异构情况下运作的，而且已经顺利运作了很长时间了。所以，理论上是可行的。主要的问题是，现在无论是开源版本的GPDB还是Pivotal的官方版本，几乎所有的管理脚本，包括系统初始化脚本、扩容脚本等，都是假设所有物理机器是同构的。所以，你几乎不可能初始化一个异构的GPDB集群。

2021-06-03 11:35:28 615

原创 file_fdw&postgres_fdw

数据库版本postgresql13.2postgres_fdw方便了pg之间的访问，兼容性请参照官网：http://www.postgres.cn/docs/13/postgres-fdw.html另外还有mysql_fdw等file_fdw 是为了直接访问外部文件一种特性postgres_fdw例子，这里用一台服务器测试，用户u1本地账户，test本地库；u2远程账户，test2远程库管理员执行：create database test;create user u1 with

2021-05-09 14:35:15 701

转载【POSTGRESQL】POSTGRES13 CITUS10 POTGIS3.1制作离线（无网络）安装

先在有网络的机器上下载rpmcitus10 + postgresql13# Add Citus repository for package managercurl https://install.citusdata.com/community/rpm.sh | sudo bash# 安装使用yumdownloader下载安装包yum -y install yum-utils# 下载安装包以及依赖yumdownloader citus100_13 --resolve --destdir

2021-05-07 21:41:45 438

转载 Apache Doris (Incubating) 原理与实践

Apache Doris 简介Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。本次将主要从以下三部分介绍 Apache Doris.Doris 定位：即 Doris 所要面临的业务场景及解决的问题 Doris 关键技术 Doris 案例介绍01 Doris 定位实时数据仓库 Doris产品定位我们首先看一下 Doris 整个的定位。MPP 架构的关系型分析数据库

2021-04-19 16:25:42 593

转载情商高的人所看透的四种人生真相

这是一篇Medium平台上获得上万点赞的优质文章，是一篇不错的关于个人成长的建议，不鸡汤，不做作，不是开口闭口“我有一个朋友”。我认为这篇文章对我和很多人的职场和生活都非常有启发性，尤其是当前疫情全球扩散的大环境下，人与自己、人与人之间的矛盾突然爆发的现实下，冷静的思考对我们都非常有必要。我将其翻译成中文，分享给更多的人。本文原作者Nick Wignall，是一个临床心理学家兼作家。很多人认为情商就像一种技能，我们可以通过不断的练习来提升情商。确实，这种观点没错。关于情商，很多人容易忽..

2021-02-24 08:51:08 346

转载 Linux的so文件到底是干嘛的？浅析Linux的动态链接库

HelloWorld背后的故事：在Linux上编译C语言程序分析了Hello World是如何编译的，即使一个非常简单的程序，也需要依赖C标准库和系统库，链接其实就是把其他第三方库和自己源代码生成的二进制目标文件融合在一起的过程。经过链接之后，那些第三方库中定义的函数就能被调用执行了。早期的一些操作系统一般使用静态链接的方式，现在基本上都在使用动态链接的方式。静态链接和动态链接虽然静态链接和动态链接都能生成可执行文件，但两者的代价差异很大。下面这张图可以很形象地演示了动态链接和静态链接的区别：.

2021-02-22 17:40:46 1222

转载 HelloWorld背后的故事：在Linux上编译C语言程序

C语言的经典程序“Hello World”并不难写，很多朋友都可以闭着眼将它写出来。那么编译一个“Hello World”到底经历了怎样的过程呢？从源代码到可执行文件我们将这个文件命名为hello.c：#include <stdio.h>int main() { printf("Hello World\n"); return 0;}程序的第一行引用了stdio.h，stdio.h里有一些C标准库预定义好的方法，比如printf()方法，...

2021-02-22 17:39:15 262 1

转载深度解析WordCount，入门Flink

要想熟练掌握一个大数据框架，仅仅是学习一些网络上的样例程序是远远不够的，我们必须系统地了解它背后的设计和运行原理。本文将以WordCount的案例为主线，主要介绍Flink的设计和运行原理。关于Flink WordCount程序可以参考我之前的文章：Flink 01 | 十分钟搭建第一个Flink应用和本地集群。原创不易，转载请注明出处。本文内容主要包括：Flink的数据流图，以及如何将数据流图从逻辑视角转化为物理执行图；Flink分布式架构；Flink时间处理机制；Flink状态与检

2021-02-22 10:07:17 485

转载 Oracle表结构转Mysql表结构

1. fnc_table_to_mysql 主体程序create or replace function fnc_table_to_mysql ( i_owner in string, i_table_name in string, i_number_default_type in string := 'decimal', i_auto_incretment_column_name

2021-01-12 15:58:42 1200

原创 java list转为树形结构

废话不多，java中list转树entity:@Data@ToStringpublic class User { /** * 用户id */ private Long id; /** * 用户名 */ private String name; /** * 父id，即上级id */ private Long parentId; /** * 排名 ...

2020-12-24 09:10:43 2132

转载 MySQL动态列值转换列名

数据表结构三张表：学生表、课程表、成绩表 CREATE TABLE `student` ( `stuid` VARCHAR(16) NOT NULL COMMENT '学号', `stunm` VARCHAR(20) NOT NULL COMMENT '学生姓名', PRIMARY KEY (`stuid`) ) COLLATE='utf8_general_ci' ENGINE=InnoDB; CREA...

2020-12-24 08:41:02 1796

转载 Spring AOP讲解（Pointcut、Before、Around、AfterReturning、After）

AOP依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></dependency>@Pointcut定义切入点，有以下2种方式：方式一：设置为注解@LogFilter1标记的方法，有标记的方法触发该AOP，没有标记就没有。@As

2020-12-17 09:04:00 3329

转载 SpringBoot集成kafka-转

本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。一、生产者实践普通生产者带回调的生产者自定义分区器 kafka事务提交二、消费者实践简单消费指定topic、partition、offset消费批量消费监听异常处理器消息过滤器消息转发定时启动/停止监听

2020-12-10 13:53:11 396

转载 Logback日志，输出到文件以及实时输出到web页面

前言　　SpringBoot对所有内部日志使用通用日志记录，但保留底层日志实现。为Java Util Logging、Log4J2和Logback提供了默认配置。在不同的情况下，日志记录器都预先配置为使用控制台输出，同时还提供可选的文件输出。默认情况下，SpringBoot使用Logback进行日志记录。　　日志级别有（从高到低）：FATAL（致命），ERROR（错误），WARN（警告），INFO（信息），DEBUG（调试），TRACE（跟踪）或者OFF（关闭），默认的日志配置在消息写入时将消息回.

2020-12-07 14:18:33 5101

转载 mybatis-plus简介

一、MyBatis-Plus1、简介　　MyBatis-Plus 是一个 Mybatis 增强版工具，在 MyBatis 上扩充了其他功能没有改变其基本功能，为了简化开发提交效率而存在。官网文档地址：　　https://mp.baomidou.com/guide/MyBatis-Plus 特性：　　https://mp.baomidou.com/guide/#%E7%89%B9%E6%80%A72、使用 SpringBoot 快速使用 MyBatis-Plus（1）准备工

2020-11-25 10:58:07 1204

原创富文本转码&后端处理

有时候富文本中有特殊符号，比如链接之类的，如果不处理后端有可能发生数据丢失或者解析失败，这时可以在前端将数据编码，后端解析入库encodeURIComponent将数据编码base64，decodeURIComponent将数据解码后端jiava中：String decode = URLDecoder.decode(dataEntity.getContent(), "UTF-8"); dataEntity.setContent(decode);...

2020-11-23 14:40:08 1504

转载关于Pulsar与Kafka的一些比较和思考

在本系列的Pulsar和Kafka比较文章中，我将引导您完成我认为重要的几个领域，并且对于人们选择强大，高可用性，高性能的流式消息传递平台至关重要。消息传递模型(Messaging model)是用户在选择流式消息传递系统时应首先考虑的事情。消息传递模型应涵盖以下3个方面： Message consumption(消息消费)：如何发送和消费消息 Message Acknowledgement(消息确认)：如何确认消息 Message Retention(消息保留)：消息要保留.

2020-09-27 18:22:39 3645

转载 Hadoop2.9.2高可用环境搭建

1.环境准备和部署规划硬件和规划序号主机内存系统组件规划进程 1 10.110.172.151 32 Centos6.5 jdk-8u221、hadoop2.9.2 DataNode、NodeManager、JournalNode 2 10.110.172.152 32 Centos6.5 jdk-8u221、hadoop2.9.2 DataNode、NodeManager、JournalNod

2020-09-23 09:11:49 236

转载 Activiti7入门

第1章什么是工作流1.1工作流介绍工作流(Workflow)，就是通过计算机对业务流程自动化执行管理。它主要解决的是“使在多个参与者之间按照某种预定义的规则自动进行传递文档、信息或任务的过程，从而实现某个预期的业务目标，或者促使此目标的实现”。1.2工作流系统一个软件系统中具有工作流的功能，我们把它称为工作流系统，一个系统中工作流的功能是什么？就是对系统的业务流程进行自动化管理，所以工作流是建立在业务流程的基础上，所以一个软件的系统核心根本上还是系统的业务流程，工作流只是协助进行业

2020-09-20 23:15:44 362

转载 hadoop文件格式和压缩算法

需要考虑的因素文件格式对存储空间利用率, 程序性能都有很大的影响. 具体表现在:文件和压缩算法的组合是否支持可分片, MapReduce在读取数据的时候需要并行, 这就要求压缩后的文件可以分片读取.在考虑如何压缩那些将由MapReduce处理的数据时，考虑压缩格式是否支持分割是很重要的。考虑存储在HDFS中的未压缩的文件，其大小为1GB，HDFS的块大小为64MB，所以该文件将被存储为16块，将此文件用作输入的MapReduce作业会创建1个输人分片（split，也称为“分块”。对于block，

2020-09-15 08:36:27 555

原创比致命错误还过分的错误: 无法打开文件 “pg_commit_ts“

PostgreSQL数据库异常起不来了可以先执行：./pg_logical/replorigin_checkpoint实在不行，如果可以接受数据丢失可以执行以下步骤：bin>pg_resetwal -f G:\PostgreSQL\12\data重置预写日志最后启动即可...

2020-09-07 09:46:33 1116

转载 router-link和router-view

router-link 标签<router-link to='./home'></router-link>//vue 内置标签在渲染时渲染成a标签在点击的情况路由中的页面在<router-view>标签中渲染to属性可以跳转页面tag="button" 属性可以渲染成想要的原生标签类似a标签 <a href="#/User">用户管理1</a> <router-link to="/user"&gt

2020-09-04 15:34:51 1102

原创 vue：axios二次封装

模块化编程思想部分前后端，哈，道理都通1、环境：基于框架：vue基于http库：axios2、步骤前提：使用vue脚手架创建一个项目或者基于已存在的项目测试1，在工程目录中安装axiosnpm install axios2，在项目目录的src文件夹下新建utils文件夹，在该文件夹内新建http-service.js文件，内容如下代码块import axios from 'axios';axios.defaults.timeout = 5000;axios.def

2020-09-04 15:28:32 128

转载大数据血缘分析系统设计

数据血缘关系介绍定义Data Lineage 数据血统，也叫做Data Provenance 数据起源或Data Pedigree 数据谱系从数据的产生，ETL处理、流转流通，到最终消亡，数据之间自然会形成一种关系，类似于人类社会的血缘关系，我们称之为数据血缘关系。数据血缘关系有一些明显的特征归属性。一般来说，特定的数据归属特定的团队或者个人多源性。同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。可追溯

2020-09-03 14:40:50 7983 1

原创 Vue import、export及export default

一、部分导入导出部分导出和部分导入的优势，当资源比较大时建使用部分导出，这样一来使用者可以使用部分导入来减少资源体积，比如element-ui官方的就推荐使用部分导入来减少项目体积，因为element-ui是一个十分庞大的框架，如果只用到其中的一部分组件，那么只将用到的组件导入就可以了。1、部分导出export function helloWorld(){ conselo.log("Hello World");}export function myTestFuntion(){...

2020-09-03 08:58:08 914

原创 origin ‘http://localhost:8080‘ has been blocked by CORS policy: No ‘Access-Control-Allow-Origin‘

跨域问题：我的解决：1）如果使用谷歌浏览器，右键谷歌浏览器选择属性，添加一些不安全或者个人配置"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --disable-web-security --user-data-dir=C:\MyChromeDevData2）后端controller加入注解还有其他方法，没试过...

2020-09-03 08:40:09 12187