自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

bbaiggey_bigdata的博客

专注大数据 ---架构设计

  • 博客(10)
  • 资源 (1)
  • 收藏
  • 关注

转载 通向架构师的道路(第六天)之漫谈基于数据库的权限系统的设计

一、权限系统 这一天将讲述一个基本的基于数据库的权限管理系统的设计,在这一天的课程的最后将讲述“左右值无限分类实现算法”如何来优化“系统菜单”的结构而告终。今天的内容和前几天的基础框架是一样的它们都属于基础知识,在这些基础知识上还可以扩展出无数的变种与进化设计。 二、先来看客户的一个需求 2.1 用户实际需求 1.       所有的用户、角色可动态配置 2.       所

2017-07-21 18:50:00 473

原创 ehcache 与spring相结合超时自动刷新缓存的框架搭建

我们在做J2EE工程中经常会碰到一些常量或者是一些不太用的数据。   这部分数据我们希望是把它放到一个共同的地方,然后大家都能去调用,而不用频繁调用数据库以提高web访问的效率。   这样的东西就是缓存(cache),对于缓存的正确理解是一块不太变动的数据,但是这块数据偶尔或者周期新会被变动的,如:   地区,分公司,省市。。。。。。   当系统一开始运行时,我们可以把一批静态的数

2017-07-21 17:34:20 717

原创 Spring Boot 集成Shiro和CAS

请大家在看本文之前,先了解如下知识点:  1、Shiro 是什么?怎么用?  2、Cas 是什么?怎么用?  3、最好有spring基础 可以先看看这两篇文章,按照这2篇文章的内容做一遍:  Spring Boot Shiro 权限管理  CAS单点登录 首先看一下下面这张图:  第一个流程是单纯使用Shiro的流程。  第二个流程是单纯使用Cas的流程。  第三个图是

2017-07-20 18:52:01 591

原创 RCFile和ORCFile

1. RCFile RCFile文件格式是FaceBook开源的一种Hive的文件存储格式,首先将表分为几个行组,对每个行组内的数据进行按列存储,每一列的数据都是分开存储,正是先水平划分,再垂直划分的理念。 在存储结构上:  如上图是HDFS内RCFile的存储结构,我们可以看到,首先对表进行行划分,分成多个行组。一个行组主要包括:16字节的HDFS同步块信息,主要是为了区分

2017-07-17 14:07:59 616

原创 hive中拉链表

在有些情况下,为了保持历史的一些状态,需要用拉链表来做,这样做目的在可以保留所有状态的情况下可以节省空间。 拉链表适用于以下几种情况吧 数据量有点大,表中某些字段有变化,但是呢变化的频率也不是很高,业务需求呢又需要统计这种变化状态,每天全量一份呢,有点不太现实, 不仅浪费了存储空间,有时可能业务统计也有点麻烦,这时,拉链表的作用就提现出来了,既节省空间,又满足了需求。 一般

2017-07-17 12:04:11 1637

原创 拉链表算法

所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。     在历史表中对客户的一生的记录可能就这样几条记录,避免了按每一天记录客户状态造成的海量存储的问题: (NAME)人名 (START-DATE)开始日期 (END-DT)结束日期 (STAT)状态      client              19000101                      

2017-07-12 16:42:39 2085

原创 Java 信号量 Semaphore 介绍

Semaphore当前在多线程环境下被扩放使用,操作系统的信号量是个很重要的概念,在进程控制方面都有应用。Java 并发库 的Semaphore 可以很轻松完成信号量控制,Semaphore可以控制某个资源可被同时访问的个数,通过 acquire() 获取一个许可,如果没有就等待,而 release() 释放一个许可。比如在Windows下可以设置共享文件的最大客户端访问个数。  Sem

2017-07-11 16:21:47 312

原创 Maven POM.xml 标签详解

pom作为项目对象模型。通过xml表示maven项目,使用pom.xml来实现。主要描述了项目:包括配置文件;开发者需要遵循的规则,缺陷管理系统,组织和licenses,项目的url,项目的依赖性,以及其他所有的项目相关因素。 [html] view plain copy project xmlns="http://maven.a

2017-07-11 16:08:09 438

转载 大数据竞赛平台——Kaggle 入门

原文链接:http://blog.csdn.net/u012162613/article/details/41929171 大数据竞赛平台——Kaggle 入门篇 这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛项目的网友,对于已经在Kaggle上参赛过的网友来说,大可不必耗费时间阅读本文。本文分为两部分介绍Kaggle,第一部分简

2017-07-07 14:10:28 374

原创 使用maven profile实现多环境可移植构建

在开发过程中,我们的软件会面对不同的运行环境,比如开发环境、测试环境、生产环境,而我们的软件在不同的环境中,有的配置可能会不一样,比如数据源配置、日志文件配置、以及一些软件运行过程中的基本配置,那每次我们将软件部署到不同的环境时,都需要修改相应的配置文件,这样来回修改,是个很麻烦的事情。有没有一种方法能够让我们不用修改配置就能发布到不同的环境中呢?当然有,这就是接下来要做的事。 当然,这里的

2017-07-04 11:13:30 240

数据库插入图片

数据库访问 使用MYSQL数据库,能够完成数据的批量增加、更新、删除操作,以及能够将文件、图片等大资源插入数据库。

2011-12-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除