- 博客(15)
- 收藏
- 关注
RSS订阅
原创 hadoop概述（1.2）
目录一、Hadoop是什么二、三大论文三、hadoop三大发行版本四、hadoop的优势五、hadoop组成六、hdfs架构初步了解七、yarn架构八、MapReduce架构九、大数据生态圈一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。二、三大论文由google发布的3大论文，被hadoop使用，形...
2019-07-08 22:45:34
297
原创 大数据概述(1.1)
目录一、为什么要有大数据二、大数据的特点三、应用场景四、大致业务流程五、部门组织一、为什么要有大数据主要解决：海量数据的存储和分析计算二、大数据的特点大数据有4大特点，4V:数据量大Volume：企业能达到EB（1024TP）增长速度高速velocity多样化variety：结构化（业务数据）和非结构化（网络日志，音视频、图片、地理位置信息）低价值密度value：提纯是难题三...
2019-07-08 22:38:13
251
原创 数据仓库和建模
代理键是由数据仓库处理过程中产生的、与业务本身无关的、唯一标识维度表中一条记录并充当维度表主键的列，也是描述维度表与事实表关系的纽带。在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件。订单表：（维度表主键）时间外建，用户外建，商品外键，（度量数据）下单数量、价格、（事件描述信息）状态、付款时间。事实表为订单表、子订单表，维度包括商品维度、用户维度、商家维度、区域维度、时间维度。
2019-07-04 18:11:36
2410
1
原创 加密算法与java实现和HTTPS原理简介
目录一、安全问题二、应用场景三、加密算法S1、签名、摘要算法MD5SHAMACS2、对称加密DES3DESAESS3、非对称加密RSAS4、数字签名S5、数字证书四、解决方案五、HTTPS的原理六、tomcat的设置七、参考文档和其他问题一、安全问题在我们的数据传输过程中有以下几个安全问题：Q1、中间人篡改过程中的数据，使得接收方接收到错误的数据Q2、发送方发送数据，被中间人获取，窃取发送...
2019-02-22 17:49:49
803
原创 Spring中的设计模式
一、设计原则设计模式中有6个设计原则，23个设计模式。而这23个设计模式中都或多或少的遵循了这6个设计原则。单一职责原则：类的功能要单一，不能写大而全的类。单一接口原则：接口的功能应尽可能少。开闭原则：对修改关闭，对扩展开放：框架和代码应该对修改是关闭的，对扩展是开放的。里氏替换原则：子类替换父类的方式时，能够实现父类的方法，保证父类方法的功能性不被破坏依赖倒置原则：抽象不能依赖细节，...
2018-12-21 18:12:58
1510
原创 mysql事务详解
一、mysql事务的特征acid原子性（Atomicity）：一个事务的操作时原子性的，要么成功，要么事务中的都回滚、失败。一致性（Consistency）：事务提交后，业务数据状态要是一致的，比如转账操作，不能只扣款不入账。隔离性（Isolation）：事务之间的操作是隔离的，隔离又分为4个隔离级别持久化(Durability)：提交事务后，数据要持久化。二、隔离的4个级别和事务的问题...
2018-12-10 17:49:48
165
原创 mysql索引原理详解
一、什么是所有，为什么用索引索引就和我们书的目录，字典的查找一样，帮助我们快速查找内容的一种数据结构。MySQL官方对索引的定义：索引（Index）是帮助MySQL高效获取数据的数据结构。索引的本质：索引是数据结构。二、索引的原理，树的演化Mysql默认使用b+tree索引。下面看下索引的演化。1、 二叉排序树优点：将数据顺序排列，二分法查找数据，时间复杂度O(logn)缺点：如果...
2018-12-10 17:44:57
212
转载 Esxi上Linux虚拟机硬盘（LVM）扩容文档
Esxi上Linux虚拟机硬盘（LVM）扩容文档1、环境本文档主要是介绍如何在ESXi上扩容安装了Linux系统的虚拟机操作环境操作系统：Esxi 6.0.0虚拟机操作系统：Linux version 3.10.0-327.3.1.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red H...
2018-11-16 18:05:20
1181
原创 java并发（6）
一、为何会有并发问题竞争条件：当多于2个程序访问试图读写同一个数据时，会因2个程序的执行顺序影响各自的执行结果，这样的情况叫做竞争条件。就叫有并发问题。线程安全：当多个线程访问一个对象时，如果我们不需要额外的考虑这些线程在运行时的调度和交替，且不需要额外的同步机制，程序都能运行正确的结果，那么称对象是线程安全的java内存模型和协议内存模型操作系统硬件的并发问题：多个处理器...
2018-09-17 19:01:23
149
原创 java内存调试工具(5)
jhat会分析一个dump文件，然后把结果发布到一个html服务器上，有一定的用途，html也是主要看histogram。jdk自带调试工具，在产线环境恶劣的情况下，比如内网隔离，传输信息困难，难以拿到本地调试，没有window环境，初步检查系统的情况下使用。也是监控内存，cpu，线程，类信息和参数的。jstack是比较有用的一个命令，查看线程的情况，包含锁，俗称javacore。是一个比较好用的工具，界面功能更强大，界面更友好。查看jvm的内存，cpu信息，线程，参数，类信息。有几个比较重要的信息。
2018-09-13 18:25:19
4029
1
原创 垃圾回收算法和垃圾收集器（4）
一、概述问题：垃圾回收回收什么（what）垃圾什么时候回收（when）怎么回收（how）回收什么我们java内存中有：java堆，java栈，方法区，直接内存 其中java栈是跟随线程生命周期的，所以不需要我们回收。 我们主要的回收目标：java堆、方法区、直接内存 方法区主要回收类和常量什么时候回收当对象没有引用的时候： 1、引用计数法：当对象被引...
2018-09-11 17:25:07
146
原创 一个对象的内存信息(3)
对象的创建对象的序列化或者克隆都是调的new查看类的信息是否在方法区中，并且已经加载、解析、初始化过确定对象的内存大小，类的信息算出来分配内存： 指针碰撞：适用规整的内存空间，直接执行后移空闲列表：不规整的，需要维护空闲列表，分配，hotspot默认方式为了减少竞争条件，每个线程都有一个TLAB，只有TLAB分配完了，才去堆中申请新的TLAB内存空间（启发：生成分布式ID的方式）...
2018-09-06 10:37:50
139
原创 java内存模型(2)
java和C++的不同之处，c++是由程序员自己管理内存的，申请和释放，java是由虚拟机帮忙做的这些事，java程序员不要关心内存的问题。 但是产线总是会出现一些内存溢出/内存泄漏的问题，这个时候只有了解其原理，才能有效的解决问题。 类加载子系统：java虚拟机把class字节码类加载到内存中，并初始化，具体加载过程后续章节中会讲到 java方法区：参数： 堆内存 栈深度垃...
2018-09-06 09:02:42
187
原创 java简介(1)
java简介楼主最近在看《JVM高级特性与最佳实践》把一些重要的东西记录下，以便以后回顾，并且给大家做个参考参考。以后每日一更。java是什么java广义上包括：java程序设计语言、各个硬件平台的java虚拟机、class文件格式、javaAPI类库、第三方类库 JDK：java程序开发的最小环境。包括：java程序设计语言、java虚拟机、javaAPI类库 JRE：jav...
2018-09-04 19:21:03
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人