Sunhighlight的博客

原创 (二）presto实现多数据源混合查询

1.说明1.1PrestoDB是facebook开源的支持多数据源混合查询的一个计算引擎，他的最大特点：1.查询速度快 2.支持多数据源在一条SQL语句中混合查询 3.基于内存的查询。本文主要说明将不同数据源配置进PrestoDB中，使他实现多数据源查询。现在以：Greenpluml和Mysql这2种数据源为例。2.Mysql数据源2.1进入Presto的安装目录：#cd /home/y...

原创 （四）PrestoDB源码解析(二)

（四）PrestoDB源码解析(二)执行计划模块概要PrestoDB对传入的SQL语句进行解析后将生成执行计划，本模块将解析PrestoDB如何生成执行计划。(a). 用户输入SQL语句，通过JDBC或者presto-cli客户端将SQL通过HTTP的形式传入Coordinator中的StatementResource接口的createQuery方法中，进入执行计划生成模块；(b).通...

原创 JWT令牌实现跨域身份验证

JWT令牌实现跨域身份验证JWT介绍JWT结构JWT验证过程JWT介绍JSON Web Token（JWT）是目前最流行的基于token的跨域身份验证解决方案。在JWT极高的安全特性下保证了token的不可伪造和不可篡改，从而可实现易扩展、轻存储、高安全的无状态、分布式的Web应用授权。本质上JWT是一个独立的身份验证令牌，可以包含用户标识、用户角色和权限等信息，以及可以存储任何其他信息（...

原创 （四）PrestoDB源码解析(一)

presto-cli模块概要该模块主要负责查询SQL的客户端功能，利用RESTful请求实现SQL语句的查询。PrestoDB可以通过presto-cli客户端和JDBC连接这两种方法实现SQL的查询。presto-cli模块查询流程：通过用户输入SQL将语句组装成一个RESTful请求，发送给Coordinator执行该SQL,并启动查询方法，分批查询结果，不断返回给客户端并在前端显示...

原创 Hadoop与Spark介绍

Hadoop介绍大数据概念Hadoop1.Hadoop生产背景2.Hadoop生态体系架构Hadoop架构Hadoop组件Hadoop相关术语HDFS架构YARN架构YARN资源的几种调度模式Spark介绍性能对比模式介绍架构介绍架构模式简单架构解决方案大数据概念1.海量的2.规模大的，维度多的3.爆发性增长的4.价值密度低、价值量大Hadoop1.Hadoop生产背景2.Had...

转载 JAVA基于JWT的token身份认证方案

一、使用JSON Web Token的好处1.性能问题。JWT方式将用户状态分散到了客户端中，相比于session，可以明显减轻服务端的内存压力。Session方式存储用户id的最大弊病在于Session是存储在服务器端的，所以需要占用大量服务器内存，对于较大型应用而言可能还要保存许多的状态，一般还需借助nosql和缓存机制来实现session的存储，如果是分布式应用还需session共...

原创 Greenplum资源队列

资源队列语句CREATE RESOURCE QUEUE G1 WITH (ACTIVE_STATEMENTS=10,MEMORY_LIMIT=‘200MB’)//创建资源列队：设置：活动数量10，内存200上限CREATE RESOURCE QUEUE G1 WITH (ACTIVE_STATEMENTS=10)//创建资源队列活跃sql为10select * from pg_...

原创 Hadoop的安装和启动

1. 在lunix系统下解压hadoop压缩包到指定文件夹：#tar -zxvf hadoop-2.6.5.tar.gz -C /usr/Hadoop/2. 配置hadoop的配置文件：（1） 配置Hadoop的环境变量#vim hadoop-env.sh将修改修改为JDK的路径（2） 修改#vim core-site.xml<configuration>&...

原创 (三）presto整合SpringBoot

1.说明1.1PrestoDB是facebook开源的支持多数据源混合查询的一个计算引擎，他的最大特点：1.查询速度快 2.支持多数据源在一条SQL语句中混合查询 3.基于内存的查询。当我们安装好PrestoDB，且通过配置多个数据源在Java的Maven项目实现了跨数据源混合查询实验后，我们需要将整个PrestoDB嵌入Java的SpringBoot框架。(1)如果没有安装PrestoDB的...

原创 Kylin介绍

原创 (一）presto集群安装

1.说明1.1 Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker。2.机器准备机器ip --------------- hostname -----------...

原创 Lunix磁盘IO监控

1.安装检测工具在CentOS下操作#yum install hdparm -y2.获取几盘路径#fdisk -l3.拿去磁盘路径获取磁盘io#hdparm -t --direct /dev/sda2.检测磁盘io安装检测：#yum install sysstat检测：iostst -x -k 检查一次检测：iostst -x -1 1秒检查一次...

原创 Nginx安装部署

1.lunix下用命令下载nginxwget -c https://nginx.org/download/nginx-1.10.1.tar.gz2.会下载在/目录下，解压他tar -zxvf nginx-1.10.1.tar.gz3.进入cd nginx-1.10.14.使用默认配置./configure5.编译安装makemake install6.查找安装路径where...

原创 Greenplum节点恢复

1.查看状态gpadmin账户下执行：gpstate -a2.排除故障后，恢复数据gpadmin账户下执行：gprecoverseg3.观察恢复是否完成gpadmin账户下执行：gpstate -s | grep Sync4.平衡处理节点（如果主节点down了，mirror节点接管后，会造成部分节点负担过重。所以要进行这步操作）gpadmin账户下执行：gprecoverseg -r...

原创 Greenplum源码编译安装

0.前期系统准备0.1搭建集群0.2配置系统参数#vim /etc/sysctl.conf配置成kernel.shmmax=500000000kernel.shmmni=4096kernel.shmall=4000000000kernel.sem=250 512000 100 2048kernel.sysrq=1kernel.core_pattern=/var/core/cor...

原创 Maven本地仓库地址修改及阿里镜像配置

Maven本地仓库地址修改及阿里镜像配置Maven本地仓库地址修改及阿里镜像配置Maven默认本地仓库地址是在C盘的用户文件夹下的 .m2 文件夹内，会占用C盘空间，建议自定义本地仓库地址。Maven的远程服务器在国外，下载速度慢，经常下载Jar失败，建议使用国内阿里云镜像，这样下载Jar包的速率会大大提升。Maven本地仓库地址修改打开apache-maven包内的conf文件夹，编辑 ...