- 博客(48)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 大数据学习之环境搭建-8节点hadoop高可用
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群，同时安装相关组建：JDK，MySQL，Hive，Flume参考文献https://blog.csdn.net/king123456man/article/details/83686717版本有所调整 实践可用...
2019-10-28 09:42:08
227
原创 jvm 参数
-Xms是指设定程序启动时占用内存大小。一般来讲，大点，程序会启动的快一点，但是也可能会导致机器暂时间变慢。-Xmx是指设定程序运行期间最大可占用的内存大小。如果程序运行需要占用更多的内存，超出了这个设置值，就会抛出OutOfMemory异常。-Xmn-Xss 设置每个线程的堆栈大小-Xdebug是通知JVM工作在DEBUG模式下-Xrunjdwp 是通知JVM使...
2019-09-25 09:01:13
162
原创 linux挂载nas
apt-getinstalldavfs2mkdir /mnt/webdavmount-t davfs https://webdav.yandex.ru /mnt/webdavPlease enter the usernametoauthenticatewithserverhttps://webdav.yandex.ruorhit enterfornone....
2019-09-25 09:00:07
3318
原创 线上问题排查
考验一个人是不是真的具备实操能力，有几个发散性的问题一问便能识别是不是个水货：系统抖动了一下你会怎么办？监控图上有一个偶发性的长尾你联想到了什么？怎么处理？系统突然运行缓慢了怎么办？这些问题都需要长期的工作积累、思考和总结才能很好的解答出来。处理过线上问题的同学基本上都会遇到系统突然运行缓慢，CPU 100%，以及Full GC次数过多的问题。当然，这些问题的最终导致的直观现象就是系统运行缓慢...
2019-09-25 08:56:23
277
原创 Kafka入门系列(二) Kafka Broker端重要参数详解
Kafka的参数配置主要分为5个部分： broker端配置(包含topic级别的配置) producer端配置 consumer端配置 streams端配置 connect端配置 本文主要关注broker端配置并且详细罗列出笔者认为重要的那些参数。另外本文针对的是Kafka0.10以后的版本。Broker端主要参数broker端的配置中有一...
2019-04-13 14:27:11
1322
原创 kafka入门（一）
Kafka环境安装本文讲述如何安装Apache Kafka，包括安装Kafka的broker服务器和Apache zookeeper组件。Kafka使用zookeeper来保存broker的元数据信息。另外本文还会涉及到Kafka多节点集群的安装以及常规参数的设置。准备工作操作系统Kafka是一个JVM系的框架。其服务器端的代码是由Scala语言编写的，新版客户端代码是Java语言...
2019-04-13 14:19:00
235
原创 电商系统BI 数据仓库模型sql脚本
电商BI 数据仓库模型sql脚本 时间维度 地理维度（2019年3月 民政局最新公布区号） 数据已填充https://pan.baidu.com/s/1tNVAp4qR1Y5sAvcqFd4Tfg 55pasql 直接导入mysql 然后ETL数据 就可以出效果....承接电商BI建造 站内可私信...
2019-04-03 14:29:10
648
1
原创 秒建中小型电商BI平台实践（零基础三日速成大法）
今日心情: 离职的上家创业公司竟然没有发工资.难道真的不行了. 问在岗的同事也没有发. 人生第一次被拖欠工资.有点兴奋.这才是创业公司. 在大厂的你绝对没有遇到的情况. 我其实挺喜欢创业公司的，虽然没有人道的加班.没有规划的上线.但是那种从螺丝钉变成电钻的感觉很爽. 言归正传, 总不能啃老吧.而且发现不干活不舒服.家附近有家电商公司打算自己起一套BI（商业智能）。和信息部门的负...
2019-03-16 00:09:15
791
转载 数据仓库专题（10）-缓慢变化维处理技术
一、案例描述 在一个零售业数据仓库中，事实表保存着各销售人员的销售记录，某天一个销售人员从北京分公司调到上海分公司了，那么如何来保存这个变化呢？也就是说销售人员维度要怎么恰当的处理这一变化。 先来回答一个问题，为什么要处理，或保存这一变化？如果我们要统计北京地区或上海地区的总销售情况的时候，这个销售人员的销售记录应该算在北京还是算在上海？当然是调离前的算在北京，调离后的算在上海,但是如...
2019-03-08 09:18:53
388
转载 数据仓库专题（9）-基本概念和定义（整理自互联网）
1、星型模型的组成一个星型模型对应一个分析主题，它由一个事实表和一组维表组成。其中事实表是星型模型的核心，由分析变量和分析维度代理键组成，分析变量存放分析事实数 据，分析维度代理键用于连接维表。维表是星型模型的外围，存放分析维度数据，由维的代理键、维的层次属性、维的描述信息组成。2、星型维度模型设计的依据和步骤星型维度模型设计的依据是《业务需求》、《数据源分析报告》、《需求分析报告》、...
2019-03-08 09:18:12
305
转载 数据仓库专题（8）-维度属性选择之维护历史是否应该保留
一、背景 数据仓库建模过程中，针对事务型事实表设计，经常会遇到维度属性选择的问题，比如客户维度，在操作型系统中，为了跟踪客户状态的变化，往往会附加客户记录的四个属性： 1.add time：添加时间； 2.add user：添加用户； 3.mod time：修改时间； 4.mod user：修改用户； 问题在于，当我们进行维度建模的时候，如果以客户作为维...
2019-03-08 09:15:53
298
转载 数据仓库专题（7）-维度建模11大基本原则
一、前言 数据仓库存储逻辑模型设计，需要遵循一定的设计原则。遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。本文适用于多维建模，不使用于3NF建模。二、正文 原则1、载入详细的原子数据到维度结构中 维度建模应该使用最基础的原子数据进行填充，以支持不可预知的来自用户查询的过滤...
2019-03-08 09:15:30
584
转载 数据仓库专题（6）-数据仓库、主题域、主题概念与定义
一、数据仓库 关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出： 中文定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 英文定义：A data wareho...
2019-03-08 09:15:01
6345
转载 数据仓库专题（6）-如何构建主题域模型原则之站在巨人的肩上（二）NCR FS-LDM主题域模型划分
一、前言 分布式数据仓库模型的架构设计，受分布式技术的影响，很多有自己特色的地方，但是在概念模型和逻辑模型设计方面，还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。也是各行业数据仓库模型的基础和蓝本。本文以NCR FS-LDM10.0版本为基础，介绍NCR FS-LDM主题域模型的划分和定义。二、模型结构 ...
2019-03-08 09:13:42
1052
转载 数据仓库专题（4）-如何构建主题域模型原则之站在巨人的肩上（一）IBM-FSDM主题域模型划分
一、前言 如何构建主题域模型原则是构建企业级数据仓库重要的议题，最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM，是金融行业应用极为广泛的数据模型，可以作为我们构建企业级数据仓库主题域模型划分的重要依据。本文就IBM FSDM主题域模型进行初步的介绍。二、模型结构三、标准定义 关系人 IP 银行的业...
2019-03-08 09:12:57
1411
转载 数据仓库专题（3）-分布式数据仓库事实表设计思考
一、前言 最近在设计数据仓库的数据逻辑模型，考虑到海量数据存储在分布式数据仓库中的技术架构模式，需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造。设计出一套真正适合分布式数据仓库的数据存储模型。二、事实表设计基础 事实表记录发生在现实世界中的操作型事件，其所产生的可度数值。事实表的设计完全依赖于物理活动，不受可能产生的最终报表的影响。事实表中，除数字度量外，事实表...
2019-03-08 09:03:18
307
转载 数据仓库专题（2）-Kimball维度建模四步骤
一、前言 四步过程维度建模由Kimball提出，可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程，但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。二、数据仓库建设流程 以下流程是根据业务系统、组织结构、团队结构现状设定的数据仓库系统建设流程，适合系统结构复杂，团队协作复杂，人员结构复杂的情况，并且数据仓库建设团队和业务系统建设团队不同的情况。具体...
2019-03-08 09:02:32
1312
转载 数据仓库专题（1）-数据仓库生命周期模型
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。下图是The Kimball Lifecycle diagra...
2019-03-08 09:01:21
421
原创 事务开启回滚失败问题记录
1.同层调用原因：spring开始以切面开启事务，同层方法无效2.事务指定范围 public必须为public private 开启切面 是继承不到的 而且 不是public 开启事务 源码中有判断 必须是public3.异常捕获@Transational 指定捕获异常 （rollbackFor = Exception.class）否则只有 运行时异常才会回滚 ...
2019-02-21 11:11:39
866
原创 bootstrap-table 不对齐
由于列数太多，bootstrap-table 不对齐的 表头和内容列 没有对齐， 只要删除bootstrap-table data-height这个属性 就对齐了
2018-09-17 20:19:48
1866
转载 接口的幂等性
在微服务架构下，我们在完成一个订单流程时经常遇到下面的场景：一个订单创建接口，第一次调用超时了，然后调用方重试了一次 在订单创建时，我们需要去扣减库存，这时接口发生了超时，调用方重试了一次 当这笔订单开始支付，在支付请求发出之后，在服务端发生了扣钱操作，接口响应超时了，调用方重试了一次 一个订单状态更新接口，调用方连续发送了两个消息，一个是已创建，一个是已付款。但是你先接收到已付款，然...
2018-08-18 17:34:10
146
原创 JVM入门
按照金字塔原理一、JVM的内存结构程序计数器、虚拟机栈、本地方法栈、堆区、方法区。其中程序计数器、虚拟机栈、本地方法栈3个区域随线程而生、随线程而灭。垃圾收集器在对堆区和方法区。二、垃圾回收算法基础：1.引用计数算法：引用该对象的个数，为0可被回收。2.可达性算法分析2.1 不可达情况 进行两次标记，finalize方法可能重新建立连接3.java中的 强、软（...
2018-07-17 18:10:35
145
转载 tcp三次握手
第一次握手：建立连接时，客户端发送syn包（syn=j）到服务器，并进入SYN_SENT状态，等待服务器确认；SYN：同步序列编号（Synchronize Sequence Numbers）。第二次握手：服务器收到syn包，必须确认客户的SYN（ack=j+1），同时自己也发送一个SYN包（syn=k），即SYN+ACK包，此时服务器进入SYN_RECV状态；第三次握手：客户端收到服务器的SYN+...
2018-06-15 08:31:31
155
原创 物理分页和内存分页和逻辑分页
物理分页与（逻辑分页就是内存分页） 一 概述1.物理分页物理分页依赖的是某一物理实体，这个物理实体就是数据库，比如MySQL数据库提供了limit关键字，程序员只需要编写带有limit关键字的SQL语句，数据库返回的就是分页结果。2.逻辑分页逻辑分页依赖的是程序员编写的代码。数据库返回的不是分页结果，而是全部数据，然后再由程序员通过代码获取分页数据，常用的操作是一次性从数据库中查询出全部数据并存储...
2018-06-10 22:58:02
10329
转载 transient关键字
原创地址：https://www.cnblogs.com/lanxuezaipiao/p/3369962.html 哎，虽然自己最熟的是Java，但很多Java基础知识都不知道，比如transient关键字以前都没用到过，所以不知道它的作用是什么，今天做笔试题时发现有一题是关于这个的，于是花个时间整理下transient关键字的使用，涨下姿势~~~好了，废话不多说，下面开始：1. transien...
2018-05-21 14:37:24
108
原创 String源码 spilt
public String[] split(String regex, int limit) { return Pattern.compile(regex).split(this, limit); } public String[] split(String regex) { return split(regex, 0); } ...
2018-05-17 18:16:20
162
转载 String的intern()方法
今天在看一本书的时候注意到一个String的intern()方法，平常没用过，只是见过这个方法，也没去仔细看过这个方法。所以今天看了一下。个人觉得给String类中加入这个方法可能是为了提升一点点性能，因为从常量池取数据比从堆里面去数据要快一些。(个人感觉) API上的那几句关于这个方法，其实总结一句就是调用这个方法之后把字符串对象加入常量池中，常量池我们都知道他是存在于方法区的，他是方法区的一...
2018-05-14 18:39:05
189
转载 java动态代理 jdk实现源码原理
动态代理，这个词在Java的世界里面经常被提起，尤其是对于部分（这里强调“部分”二字，因为有做了一两年就成大神的，实力强的令人发指，这类人无疑是非常懂动态代理这点小伎俩的）做了一两年新人来说，总是摸不清楚来龙去脉，一两年是个坎，为什么是一两年，才入门的新人可能对这东西没什么感觉，没到这一步，做了很久开发的人显然是明白这其中原理的，而做了一两年的，知其然而不知其所以然，所以一两年工作经验的人很多是很...
2018-05-14 18:32:42
119
转载 数据库事务隔离级别
一、数据库事务隔离级别数据库事务的隔离级别有4个，由低到高依次为Read uncommitted 、Read committed 、Repeatable read 、Serializable ，这四个级别可以逐个解决脏读 、不可重复读 、幻读 这几类问题。√: 可能出现 ×: 不会出现脏读不可重复读幻读Read uncommitted√√√Read committed×√√Repeatabl...
2018-05-13 21:29:14
135
转载 "=="、equals和hashCode有什么区别
1）“==”运算符用来比较两个变量的值是否相等。也就是说，该运算符用于比较变量对应的内存中所存储的数值是否相同，要比较两个基本类型的数据或两个引用变量是否相等，只能使用“==”运算符。具体而言，如果两个变量是基本数据类型，可以直接使用“==”运算符来比较其对应的值是否相等。如果一个变量指向的数据是对象（引用类型），那么，此时涉及了两块内存，对象本身占用了一块内存（堆内存），变量也占用一块内存，例如...
2018-05-13 10:24:29
144
原创 热点账户高并发解决方案
背景:2018年初，直播答题风靡全国。来的快，去的也快，抖音突然崛起，具有了挑战微信的实力。 我司与头条合作，负责头条的红包雨业务。头条要求，200tps，最后最高达到140tps。 自此之后，公司开始了账户优化。 此前已经对第三方支付的账户进行了详细的描述。不再赘述。 账户就是余额加上流水（账户明细）。支付行业对数据的错误是零容忍的。 下面直接开始。 ...
2018-05-12 22:34:02
11956
转载 电商账户体系
什么是账户？ 从会计学上来看，账户是根据会计科目设置的，具有一定格式和结构，用于分类反馈会计要素增加变动情况及其结果的载体。设置账户是会计核算的重要方法之一。同会计科目分类相对应，账户按其提供的信息详细程度和统驭关系不同分为总账账户和明细账户，请注意，在设计IT账户系统中，总账户和明细账户是非常重要的概念，后面会重点分析。 而按照账户反映的经济内容不同可分为资产类账...
2018-05-12 21:58:38
4792
1
转载 Volatile
Java中Volatile关键字详解阅读目录一、基本概念二、Volatile原理一、基本概念先补充一下概念：Java 内存模型中的可见性、原子性和有序性。可见性： 可见性是一种复杂的属性，因为可见性中的错误总是会违背我们的直觉。通常，我们无法确保执行读操作的线程能适时地看到其他线程写入的值，有时甚至是根本不可能的事情。为了确保多个线程之间对内存写入操作的可见性，必须使用同步机制。 可见性，是指...
2018-05-08 17:00:18
322
原创 fail-fast 和 fail-safe
一：快速失败（fail—fast） 在用迭代器遍历一个集合对象时，如果遍历过程中对集合对象的内容进行了修改（增加、删除、修改），则会抛出Concurrent Modification Exception。 原理：迭代器在遍历时直接访问集合中的内容，并且在遍历过程中使用一个 modCount 变量。集合在被遍历期间如果内容发生变化，就...
2018-05-08 14:53:21
98
原创 NTP网路时间协议
做项目中经常遇到过天的时候，每个系统的时间不一致的情况，对于交易系统需要考虑很多方面。 在火箭发射这种高精度的科研活动，如何保证系统时间的统一性呢？百度 ：NTP（Network Time Protocol，网络时间协议）是用来使网络中的各个计算机时间同步的一种协议。它的用途是把计算机的时钟同步到世界协调时UTC，其精度在局域网内可达0.1ms，在互联网上绝大多数的地方其精度可以...
2018-05-08 14:32:40
220
原创 强、弱、软、虚引用
首先要知道，一个java对象在堆内存中运行时，它的状态可以分成三种： 1.可达状态：有一个引用变量引用它。 2.可恢复状态：此时不再有引用变量引用它，系统的垃圾回收机制准备回收该对象随占用的资源。在回收对象之前，系统会调用该对象的finalize方法进行资源清理，如果finalize方法重新让一个以上的引用变量引用该对象，则这个对象会再次变为可达状态。 3.不可达状态：当对象所有...
2018-05-06 18:52:11
121
原创 super
a extends b；b extends c；在创建a的对象后，可访问 b和c的对象。 但其实在系统内存中并不存在 b 和c对象。 a对象不仅仅保存了a类中定义的所有实例变量，还保存了它所有父类所定义的全部实例变量。java程序中允许某个方法通过return this；返回调用该方法的java对象，子类super调用父类方法，返回this,为子类对象.但不允许直接使用return supe...
2018-04-14 19:52:08
252
原创 final
final是一个比较简单的修饰符。final 可以修饰变量，被final修饰的变量被赋初始值后，不能对它重新进行赋值。final 可以修饰方法，被修饰不能重写。final 可以修饰类，被修饰不能派生。全是口诀。final变量必须被显式的初始化。 当一个使用final修饰的变量，如果定义该变量时就指定了初始值，而这个初始值就可以在编译时就确定下来。（个人理解就是不需要等到构造器中再进行赋值，直...
2018-04-14 19:18:11
747
原创 继承
子类可以继承父类的成员变量和方法，但是之间是有区别的。Derived extends Base；Base b=new Derived();此时因为将Derived的对象赋给了Base变量，系统会自动向上转型来保证程序的正确。此时，通过b来访问实例变量时输出的是Base（声明时类型）对象的实例变量值，如果调用方法，则调用的是Derived（运行时类型）对象的行为。如果Derived d = new ...
2018-04-14 10:25:44
145
原创 变量的编译与运行时类型不同
当子类隐式调用了父类构造器方法时，父类构造器中的this代表子类对象，但是又在父类中进行编译。当变量的编译与运行时类型不同时，通过该变量访问它引用的对象实例变量时，该实例变量由声明该变量的类型决定。及this.i 中i代表的是父类的成员，而通过该变量调用它引用的对象实例方法时，该方法行为将由它实际所引用的对象来决定。this.func()。func是子类的方法。此时父类调用了子类的方法当子类重写父...
2018-04-13 23:37:26
256
项目 刚刚 启动时 反复循环 动态代理
2019-01-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人