自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 大数据汇总贴

大数据汇总贴一、hadoop二、hive三、spark四、数据仓库4.1、数据仓库和建模

2019-07-08 22:30:55 246

原创 hadoop概述(1.2)

目录一、Hadoop是什么二、三大论文三、hadoop三大发行版本四、hadoop的优势五、hadoop组成六、hdfs架构初步了解七、yarn架构八、MapReduce架构九、大数据生态圈一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题。二、三大论文由google发布的3大论文,被hadoop使用,形...

2019-07-08 22:45:34 297

原创 大数据概述(1.1)

目录一、为什么要有大数据二、大数据的特点三、应用场景四、大致业务流程五、部门组织一、为什么要有大数据主要解决:海量数据的存储和分析计算二、大数据的特点大数据有4大特点,4V:数据量大Volume:企业能达到EB(1024TP)增长速度高速velocity多样化variety:结构化(业务数据)和非结构化(网络日志,音视频、图片、地理位置信息)低价值密度value:提纯是难题三...

2019-07-08 22:38:13 251

原创 数据仓库和建模

代理键是由数据仓库处理过程中产生的、与业务本身无关的、唯一标识维度表中一条记录并充当维度表主键的列,也是描述维度表与事实表关系的纽带。在现实世界中,每一个操作型事件,基本都是发生在实体之间的,伴随着这种操作事件的发生,会产生可度量的值,而这个过程就产生了一个事实表,存储了每一个可度量的事件。订单表:(维度表主键)时间外建,用户外建,商品外键,(度量数据)下单数量、价格、(事件描述信息)状态、付款时间。事实表为订单表、子订单表,维度包括商品维度、用户维度、商家维度、区域维度、时间维度。

2019-07-04 18:11:36 2408 1

原创 加密算法与java实现和HTTPS原理简介

目录一、安全问题二、应用场景三、加密算法S1、签名、摘要算法MD5SHAMACS2、对称加密DES3DESAESS3、非对称加密RSAS4、数字签名S5、数字证书四、解决方案五、HTTPS的原理六、tomcat的设置七、参考文档和其他问题一、安全问题在我们的数据传输过程中有以下几个安全问题:Q1、中间人篡改过程中的数据,使得接收方接收到错误的数据Q2、发送方发送数据,被中间人获取,窃取发送...

2019-02-22 17:49:49 802

原创 Spring中的设计模式

一、设计原则设计模式中有6个设计原则,23个设计模式。而这23个设计模式中都或多或少的遵循了这6个设计原则。单一职责原则:类的功能要单一,不能写大而全的类。单一接口原则:接口的功能应尽可能少。开闭原则:对修改关闭,对扩展开放:框架和代码应该对修改是关闭的,对扩展是开放的。里氏替换原则:子类替换父类的方式时,能够实现父类的方法,保证父类方法的功能性不被破坏依赖倒置原则:抽象不能依赖细节,...

2018-12-21 18:12:58 1510

原创 mysql事务详解

一、mysql事务的特征acid原子性(Atomicity):一个事务的操作时原子性的,要么成功,要么事务中的都回滚、失败。一致性(Consistency):事务提交后,业务数据状态要是一致的,比如转账操作,不能只扣款不入账。隔离性(Isolation):事务之间的操作是隔离的,隔离又分为4个隔离级别持久化(Durability):提交事务后,数据要持久化。二、隔离的4个级别和事务的问题...

2018-12-10 17:49:48 165

原创 mysql索引原理详解

一、什么是所有,为什么用索引索引就和我们书的目录,字典的查找一样,帮助我们快速查找内容的一种数据结构。MySQL官方对索引的定义:索引(Index)是帮助MySQL高效获取数据的数据结构。索引的本质:索引是数据结构。二、索引的原理,树的演化Mysql默认使用b+tree索引。下面看下索引的演化。1、 二叉排序树优点:将数据顺序排列,二分法查找数据,时间复杂度O(logn)缺点:如果...

2018-12-10 17:44:57 212

转载 Esxi上Linux虚拟机硬盘(LVM)扩容文档

Esxi上Linux虚拟机硬盘(LVM)扩容文档1、环境本文档主要是介绍如何在ESXi上扩容安装了Linux系统的虚拟机操作环境操作系统:Esxi 6.0.0虚拟机操作系统:Linux version 3.10.0-327.3.1.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red H...

2018-11-16 18:05:20 1181

原创 java并发(6)

一、为何会有并发问题竞争条件:当多于2个程序访问试图读写同一个数据时,会因2个程序的执行顺序影响各自的执行结果,这样的情况叫做竞争条件。就叫有并发问题。线程安全:当多个线程访问一个对象时,如果我们不需要额外的考虑这些线程在运行时的调度和交替,且不需要额外的同步机制,程序都能运行正确的结果,那么称对象是线程安全的java内存模型和协议内存模型操作系统硬件的并发问题:多个处理器...

2018-09-17 19:01:23 149

原创 java内存调试工具(5)

jhat会分析一个dump文件,然后把结果发布到一个html服务器上,有一定的用途,html也是主要看histogram。jdk自带调试工具,在产线环境恶劣的情况下,比如内网隔离,传输信息困难,难以拿到本地调试,没有window环境,初步检查系统的情况下使用。也是监控内存,cpu,线程,类信息和参数的。jstack是比较有用的一个命令,查看线程的情况,包含锁,俗称javacore。是一个比较好用的工具,界面功能更强大,界面更友好。查看jvm的内存,cpu信息,线程,参数,类信息。有几个比较重要的信息。

2018-09-13 18:25:19 4029 1

原创 垃圾回收算法和垃圾收集器(4)

一、概述问题:垃圾回收回收什么(what)垃圾什么时候回收(when)怎么回收(how)回收什么我们java内存中有:java堆,java栈,方法区,直接内存 其中java栈是跟随线程生命周期的,所以不需要我们回收。 我们主要的回收目标:java堆、方法区、直接内存 方法区主要回收类和常量什么时候回收当对象没有引用的时候: 1、引用计数法:当对象被引...

2018-09-11 17:25:07 146

原创 一个对象的内存信息(3)

对象的创建对象的序列化或者克隆都是调的new查看类的信息是否在方法区中,并且已经加载、解析、初始化过确定对象的内存大小,类的信息算出来分配内存: 指针碰撞:适用规整的内存空间,直接执行后移空闲列表:不规整的,需要维护空闲列表,分配,hotspot默认方式为了减少竞争条件,每个线程都有一个TLAB,只有TLAB分配完了,才去堆中申请新的TLAB内存空间(启发:生成分布式ID的方式)...

2018-09-06 10:37:50 139

原创 java内存模型(2)

java和C++的不同之处,c++是由程序员自己管理内存的,申请和释放,java是由虚拟机帮忙做的这些事,java程序员不要关心内存的问题。 但是产线总是会出现一些内存溢出/内存泄漏的问题,这个时候只有了解其原理,才能有效的解决问题。 类加载子系统:java虚拟机把class字节码类加载到内存中,并初始化,具体加载过程后续章节中会讲到 java方法区:参数: 堆内存 栈深度垃...

2018-09-06 09:02:42 187

原创 java简介(1)

java简介楼主最近在看《JVM高级特性与最佳实践》把一些重要的东西记录下,以便以后回顾,并且给大家做个参考参考。以后每日一更。java是什么java广义上包括:java程序设计语言、各个硬件平台的java虚拟机、class文件格式、javaAPI类库、第三方类库 JDK:java程序开发的最小环境。包括:java程序设计语言、java虚拟机、javaAPI类库 JRE:jav...

2018-09-04 19:21:03 142

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除