冬天的一缕阳光-CSDN博客

转载数据中台，什么是数据中台？

导读：数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享，并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 3 月 15 日 ThoughtWorks 技术雷达峰会上，关于数据中台的话题也获得了众多参会者的热烈关注。如今似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗？普通企业该不该做数据中台？数据中...

2019-12-05 11:53:07 5251 1

原创 greenplum安装PostGis

1、下载Greenplum的postgis插件下载地址：https://network.pivotal.io/products/pivotal-gpdb/#/releases/449820/file_groups/2053注意选择相应的版本，如果版本对应不上安装将失败。2、安装gppkg -i postgis-2.1.5+pivotal.2-2-gp6-rhel7-x86_64...

2019-09-07 21:20:05 2610 1

转载 PostgreSQL用户、角色、权限管理

PostgreSQL是一个多用户数据库，可以为不同用户指定允许的权限。角色 PostgreSQL使用角色的概念管理数据库访问权限。根据角色自身的设置不同，一个角色可以看做是一个数据库用户，或者一组数据库用户。角色可以拥有数据库对象(比如表)以及可以把这些对象上的权限赋予其它角色，以控制谁拥有访问哪些对象的权限。操作角色的语句： create role db_role1; /-...

2019-09-07 16:55:13 536

原创 greenplum集群搭建及部署

一、环境准备1、准备三台服务器192.168.123.103 master192.168.123.104 data1192.168.123.105 data22、更改服务器hosts#vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.local...

2019-09-07 16:52:27 3792

原创 ubuntu部署kong以及安装Kong Dashboard

最近研究网关，网关是主要统一出口、权限管理等功能，之前自己使用openresty根据项目需求自己写了一个网关，最近打算升级网关，所有研究了两天的kong，记录一下kong的部署流程。为什么使用API-Gateway1. 方便客户端维护– 每个请求方不用管理多个api url，统一访问api-gateway即可2. 接口重构时调用方不须了解接口本身等拆分和聚合3. ...

2018-09-26 14:27:11 4622

原创 ubuntu 16.04部署安装kudu

由于ubuntu 16.04自带的源中没有kudu相关的包，需要配置系统的源一、配置如下：1、从 http://archive.cloudera.com/kudu/ubuntu/xenial/amd64/kudu/cloudera.list 下载源的配置，下载之后如下：2、把下载的内容添加到/etc/apt/sources.list中3、添加公匙：从http://cl...

2018-08-23 17:10:37 1235 1

原创 ubuntu查看系统的版本和位数

查看ubuntu版本# lsb_release -a查看ubuntu位数法一：#getconf LONG_BIT法二：#uname -a

2018-01-21 13:49:42 1136

原创 ubuntu利用apt-get卸载软件

ubuntu使用apt-get install是一个很简单的东西，但是有时因为各种原因，apt-get安装一半的时候安装失败了，这时候需要卸载之前安装的，关于ubuntu卸载安装包的方法很多。1、删除软件方法一、如果你知道要删除软件的具体名称，可以使用 sudo apt-get remove --purge 软件名称 sudo apt-get au

2018-01-21 13:45:04 56416 9

原创 nginx lua获取真实IP

在使用openresty的时候发现如果在openresty上面再加上一成代理，则lua获取不到真实的IP地址，最开始使用：ngx.var.remote_addr 获取IP最后解决方案：1：在代理服务器上配置 location /services { proxy_set_header X-Real-IP $remote_addr; proxy

2017-11-08 17:30:25 14660

原创 CentOS7使用firewalld打开关闭防火墙与端口

http://www.cnblogs.com/moxiaoan/p/5683743.html1、firewalld的基本使用启动： systemctl start firewalld查看状态： systemctl status firewalld停止： systemctl disable firewalld禁用： systemctl stop firewalld...

2017-10-26 16:00:15 321

转载 LINUX查看硬件配置命令

http://www.2cto.com/os/201207/138970.html系统# uname -a # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue # 查看操作系统版本# cat /proc/cpuinfo # 查看CPU信息# hostname # 查看计算机名# lspci -tv # 列出所有PCI设备#

2017-10-25 16:12:38 326

转载 Nginx 反向代理、负载均衡、页面缓存、URL重写及读写分离详解

大纲一、前言二、环境准备三、安装与配置Nginx四、Nginx之反向代理五、Nginx之负载均衡六、Nginx之页面缓存七、Nginx之URL重写八、Nginx之读写分离注，操作系统为 CentOS 6.4 x86_64 , Nginx 是版本是最新版的1.4.2，所以实验用到的软件请点击这里下载：http://yun

2017-10-16 09:44:37 684

原创 CentOS制作本地源

之前写过ubuntu 16制作本地源的方法，相对于 ubuntu来说centOS制作本地源要容易的多。之前被网上的教程忽悠了，简单记录一下制作过程。第一步：下载rpm包，有很多种方法，介绍三种方法：方法一:downloadonly插件　　1.安装插件　　　　yum -y install yum-download 　　2.下载httpd软件包到当前文件夹内

2017-09-15 09:35:41 791

原创 Elasticsearch5.2.2集群搭建

在之前写过关于Elasticsearch5的安装，安装过程就不重复了一、配置说明：master node:master几点主要用于元数据(metadata)的处理，比如索引的新增、删除、分片分配等。data node:data 节点上保存了数据分片。它负责数据相关操作，比如分片的 CRUD，以及搜索和整合操作。这些操作都比较消耗 CPU、内存和 I/O 资源；client node

2017-08-02 14:59:17 1259

转载 elasticsearch5.0启动出现的错误

elasticsearch5.0启动失败，出现如下提示：1、Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)由于elasticsear

2017-07-03 13:08:23 664

转载 ubuntu 创建本地deb软件包时，对Release文件做gpg签名

Ubuntu 16.04 (xenial) 在将本地deb软件包创建repo时候，跟14.04以前的版本相比，强制要求gpg对Release文件签名，否则无法使用：Reading package lists... DoneW: The repository 'http://10.245.254.93/linux/ubuntu/updates/xenial ./ Release' is no

2017-06-02 13:27:48 8110 1

转载安装Elasticsearch5.2.2和head 插件环境搭建

一.简介 ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，我们希望能

2017-05-25 16:46:39 1856

原创利用AXIS2返回JSON

部署AXIS2查看上一篇文章。在已经有AXIS2的基础之上操作1、下载DynamicResponseHandler(wso2dynamic-response-1.5.mar)模块，复制到webservice项目中的WEB-INF/modules中，将wso2dynamic-response-1.5.mar加到modules.list文件中。2、下载Jettison 1.2和jett

2017-04-18 14:57:19 2373

转载 Axis2动态创建webservice

Axis2创建WebService实例博客分类：Java综合WebServiceTomcatApacheWebXML 一、Axis2的下载和安装 1.可从http://ws.apache.org/axis2/ 下载Axis2的最新版本：可以下载如下两个zip包： axis2-1.5.4-bin.zip

2017-04-17 15:34:35 1086

转载 Elasticsearch聚合之 Date Histogram聚合

Elasticsearch的聚合主要分成两大类：metric和bucket,2.0中新增了pipeline还没有研究。本篇还是来介绍Bucket聚合中的常用聚合——date histogram.参考：官方文档用法Date histogram的用法与histogram差不多，只不过区间上支持了日期的表达式。{"aggs":{ "articles_over_tim

2017-03-16 16:46:45 2984

转载 elasticsearch 查询（match和term）

es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。由于DSL查询更为直观也更为简易，所以大都使用这种方式。DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在很多灵活性，也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结构只是一部分，并不是可以直接黏贴复制进去使用的。一般要在外面

2017-03-16 14:15:01 366

转载 Elasticsearch基础教程

基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）。集群（cluster）一个集群就是由一个

2017-03-09 16:32:10 307

转载 linux安装elasticsearch5.0.x-安装篇

请预先安装jdk创建新用户（非root用户）elasticsearch只能用非root启动，这里我创建了一个叫seven的用户[root@localhost ~]# useradd seven[root@localhost ~]# passwd seven12下载elasticsearch[root@localhost ~]# su seven[seven@lo

2017-03-08 10:28:04 579

原创 lua使用zlib压缩和解压

最近学习lua+nginx。在项目中要使用nginx的反向代理，从中遇见诸多麻烦！最蛋疼的是使用的平台是windows，哎！这套东西在window的相关文档资料很少！写写关于lua使用zlib压缩和解压的问题。有两种方式可以完成第一种：使用lua-zlib看了一下别人的方式，http://blog.csdn.net/kowity/article/details/7229815；在w

2017-02-06 12:02:08 15113

原创 Windows环境安装及配置MongoDB

1.根据自己电脑的版本下载相应的安装文件https://www.mongodb.com/download-center2.下载安装之后会出现按照原理说就可以使用了使用方法：创建数据库目录D:\MongoDB\data，接下来打开命令行窗口，切换到D:\MongoDB\bin 目录执行如下命令：其中 --dbpath是指定数据库存放目录，这里要注意有两个 "-"m

2017-01-13 11:48:15 506

原创 tomcat跨域以及session丢失的解决方案

公司由于要搞跨域问题，写写大概思路！一、后台配置。 1.在后台项目中导入：cors-filter-2.5.jar和java-property-utils-1.10.jar。如果是maven项目可以直接去maven仓库下载。 2.项目下的web.xml配置。 CORS com.thetransactioncompan

2016-12-15 16:52:34 6095

转载使用SpringAop 验证方法参数是否合法

先定义两个注解类ValidateGroup 和 ValidateFiledValidateGroup .Java[java] view plain copypackage com.zf.ann; import java.lang.annotation.ElementType; import java.lang.anno

2016-10-12 12:48:05 517

转载 MongoDB的地埋空间数据存储、空间索引以及空间查询

一、关于MongoDB在众多NoSQL数据库，MongoDB是一个优秀的产品。其官方介绍如下： MongoDB (from "humongous") is a scalable, high-performance, open source, document-oriented database.看起来，十分诱人！值得说明的是，MongoDB的document是以BSON

2016-09-24 20:43:07 665

转载 ShapeFile数据到mongodb的导入

开发环境为：系统环境 Linux 4.4.0-36-generic #55~14.04.1-Ubuntu x86_64 x86_64 x86_64 GNU/Linux mongodb版本当前最新版本3.2.9 但是下面的代码同样适用Windows环境！具体mongodb的安装参照官方文档，强烈建议参照官方安装文档。网上博客这种资料良莠不齐，而且新版本可能和老板的安装略有区别，博

2016-09-24 20:41:20 758

转载 Spring transaction事务之roll back回滚

试验方法：写一个单元测试，调用一个service层方法（发生对数据库进行写操作的方法--insert、update、delete）即可. 试验过程：定义一个service方法如下： public SMSTiming createSMSTiming(SMSTiming smsTiming){

2016-07-13 16:35:00 635

转载数据库设计原则

数据库设计规范化的五个要求一：表中应该避免可为空的列二：表不应该有重复的值或者列三：表中记录应该有一个唯一的标识符四：数据库对象要有统一的前缀名五：尽量只存储单一实体类型的数据数据库表的设计原则1)不应该针对整个系统进行数据库设计，而应该根据系统架构中的组件划分，针对每个组件所处理的业务进行组件单元的数据库设计；不同组件间所对应的数据库表之间的关联应尽可

2016-07-08 17:42:45 918 1

转载 HTML5+开发移动app教程

原文：http://blog.csdn.net/uikoo9/article/details/43485899前言看了前面两篇内容是否有点跃跃欲试了？下面就开始一个简答的例子，以及mui相关内容mui官网：http://dcloudio.github.io/mui/说明：希望你可以把官网内容通读一遍，这是以后开发的基础

2016-03-30 19:24:50 1580

原创 opencv图像处理基本操作

1:读取图片#include #include int main(){ IplImage *img = 0; img = cvLoadImage("/home/todayac/Desktop/img/test.jpg",-1); cvNamedWindow("lena", 1); cvShowImage("lena", img); cvWaitKe

2016-01-21 17:01:50 2120

原创 ubuntu安装jdk

1、源码包准备：首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，我下载jdk-8u25-linux-x64.tar.gz，下载到主目录2、解压源码包通过终端在/usr/local目录下新建java文件夹，命令行：2、解

2015-12-30 19:42:07 387

转载 MySql导入导出数据库（含远程导入导出）

一、导入导出本地数据库导出： 1、先运行cmd，cd 到mysql安装目录中的bin文件夹 2、mysqldump -u root -p 数据库名 > 导出文件名.sql 其他情况下： 1.导出整个数据库 mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u wcnc -p smgp

2015-12-30 19:03:55 630

转载允许ubuntu下mysql远程连接

第一步：vim /etc/mysql/my.cnf找到bind-address = 127.0.0.1注释掉这行，如：#bind-address = 127.0.0.1或者改为： bind-address = 0.0.0.0允许任意IP访问；或者自己指定一个IP地址。重启 MySQL：sudo /etc/init.d/mysql rest

2015-12-30 18:48:13 459

原创 div重叠问题

最近要做一个在视频前面加一个蒙版。然后在视频上进行一些鼠标操作。单独的在视频上面点击鼠标，视频会暂停等等。不想让这些事件触发，就在视频的前面加一个透明的div，然后在这个div上进行鼠标的操作，这样就能解决问题。视频叠加代码： div重叠叠加实例未排层叠顺序 .div-rel

2015-10-21 13:20:36 1350

原创网页媒体播放利器 - JW Player的demo

JW Player是一款非常优秀的网页媒体播放器，支持H.264 ( .mp4, .mov, .f4v )、FLV ( .flv ) 、3GPP ( .3gp, .3g2 )、OGG Theora ( .ogv )和WebM ( .webm )视频格式，MP3 ( .mp3 )、AAC ( .aac, .m4a )、OGG Vorbis ( .ogg )和WAV ( .wav )音频，同时也支

2015-10-16 17:05:05 2601

原创 java连接webservice

由于项目要求，要实现一个用jsp的客户端页面去调用后台C++的程序。在这个过程中主要涉及到的就是数据的交互。应该怎样把java的数据传输到C++，C++经过处理之后又怎么样传输到java。在这之间才用了C++的webservice。在这里网上有很多相关java链接webservice。写写自己的心得吧。有很多种方法就能实现这个功能，我是用的axis。网上下载axis的jar包 http://

2015-10-16 16:50:09 675

转载 html页面的数据利用js或者Ajax传输到后台java、php

网页制作工程中会经常遇见数据的传输。然而对于java或者php等是在服务器执行的程序，当页面加载之后嵌在html的这些代码是最先执行的。所以利用简单的传递数据是有问题的。现在介绍几种不同的传递参数问题。1、利用JS传递这里利用表单的post，在表单里面加一个隐藏表单元素比如：只需要把值传给value就，接下来就简单了。2、主要写一下怎么用Ajax传数据到j

2015-10-16 09:14:09 10466