2018年04月_Shine_安

转载 Base上关于CMS、GC碎片、大缓存的一种解决方案：Bucket Cache----没看懂

介绍BucketCache前，先对HBase的Cache做个介绍：一.HBase在读取时，会以Block为单位进行cache，用来提升读的性能；二.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小128K,索引数据，用来加快Row所在DataBlock的定位) 三.对于一...

2018-04-28 11:50:55 479

转载回调函数（callback）是什么？

作者：no.body链接：https://www.zhihu.com/question/19801131/answer/27459821来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。什么是回调函数？我们绕点远路来回答这个问题。编程分为两类：系统编程（system programming）和应用编程（application programming）。所谓系统编程，简单...

2018-04-23 10:58:48 39353 5

转载【分布式】Zookeeper使用--命令行

一、前言　　在学习了Zookeeper相关的理论知识后，下面接着学习对Zookeeper的相关操作。二、Zookeeper部署　　Zookeeper的部署相对来说还是比较简单，读者可以在网上找到相应的教程，点这里，笔者不再累赘。　　Zookeeper有三种运行形式：集群模式、单机模式、伪集群模式。　　以下实验都是在单机模式下进行。三、服务端　　bin目录下常用的脚本解释　　　　zkCleanup　...

2018-04-23 09:52:28 224

转载五种大数据处理架构

来源： https://blog.csdn.net/wjandy0211/article/details/78802044大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统...

2018-04-19 16:26:01 13249

转载区块链技术是什么？未来可能用于哪些方面？

王振熙链派社区app创始人 \ 老王讲币系列视频780 人赞同了该回答链派社区_区块链行业资讯知识百科平台关于区块链技术的原理及一些核心算法，很多人已经讲得十分细节。但是对于一看到代码就头疼的其他人士而言，友好度可能不高。这篇文章主要是为了探讨区块链应用上的更多可能。当然，为了应题在前半部分对于技术方面也是稍微点到即止。首先区块链技术是什么？我们可以脑补一个在群里玩成语接龙的游戏规则，规则要求下一...

2018-04-19 16:25:35 2714

转载 HBase 常用Shell命令

转自：http://my.oschina.net/u/189445/blog/595232 两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~ hbase shell命令描述 alter修改列族（column family）模式count统计表中行的数量create创建表describe显示表相关的详细信息delete删除指定对...

2018-04-19 16:24:34 125

转载区块链是什么？一张图让你秒懂？

区块链是什么？一张图让你秒懂？妈：“小明啊，什么是区块链？”我：“（惊！）......妈，你从哪里听来的区块链。”妈：“隔壁你蔡姨说他老公在炒什么币，老是喊着区块链balabala，楼上李大哥也喊着区块链创业balabalabala，区块链能卖钱吗？”我：“妈，区块链很复杂，我下次再解释......”妈：“你晚饭想吃开水拌面？”我：“好吧 Σ(っ °Д °;)っ我想想怎么说。”这么火的区块链，到...

2018-04-17 10:09:19 775

转载 Java Applet 基础

Applet 是一种 Java 程序。它一般运行在支持 Java 的 Web 浏览器内。因为它有完整的 Java API支持,所以Applet 是一个全功能的 Java 应用程序。如下所示是独立的 Java 应用程序和 applet 程序之间重要的不同：Java 中 Applet 类继承了 java.applet.Applet 类。Applet 类没有定义 main()，所以一个 Applet 程...

2018-04-16 11:33:06 141

转载 MPP 架构数据库

MPP (Massively Parallel Processing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的 CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。 MPP架构数据库应具有的特征：● 任务并行执行;● 数据分布式存储(本地化);...

2018-04-13 17:40:26 1222

转载 ODBC与JDBC比较

原文： https://blog.csdn.net/u010191243/article/details/46685951 在学习J2EE的JDBC过程中，刚见到JDBC就马上联想到了ODBC，而且我们可以肯定他们之间有必然的关系。开始学它的时候还是觉得有点晕，于是就查了很多资料，与比较熟悉的ODBC进行了比较。先各自简单介绍一下ODBC和JDBC。 ODBC（O...

2018-04-13 17:25:07 6758 2

转载实时报表（T+0）的方案

在报表项目中，客户越来越关注源数据的实时性，希望看到最新发生的数据在报表中体现出来。但是，传统的报表工具+数据仓库+ETL方式很难做到这一点，往往是只能看到昨天、上周甚至是上个月的情况，也就是T+1、T+7、T+30统称T+n报表。很难实现T+0报表，也就是能体现实时信息的报表。分析其原因在于：1、如果报表的历史数据和最新数据都从客户的生产系统读取，虽然可以实现T+0报表，但是会...

2018-04-13 16:57:16 7146

转载 KPI

关键绩效指标法编辑同义词 KPI一般指关键绩效指标法关键绩效指标(KPI：Key Performance Indicator)是通过对组织内部流程的输入端、输出端的关键参数进行设置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目标的工具，是企业绩效管理的基础。KPI可以使部门主管明确部门的主要责任，并以此为基础，明确部门人员的业绩衡量指标。建立明确...

2018-04-13 16:44:22 444

转载数据仓库T+1模型思想

首先什么是T+1模型可以简单理解为数据中的1,2,3,4 ...T, T + 1.可以理解为，今天之前是一个 T单位的数据,新加一天就是（T + 1）单位的数据。这里的T可以理解为每天。然后基本仓库可以分为1.ODS层： |-sdm每日的增量表数据 |-fdm部分需要保存全量数据的表。注：ODS中保存所有的数据，包括以天为粒度的所有数据，包括多个版本的数据。以及全量数据，对比后的全量数...

2018-04-13 16:26:27 14268 1

转载 ssh连接时提示THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED

ssh链接云主机：ssh [email protected]报错：THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED 解决办法：ssh -o StrictHostKeyChecking=no [email protected]输入密码，链接成功与ssh中Host key verification failed问题一样。网上很多的解决方案是：vi ~...

2018-04-11 17:42:04 1170

转载 UML实践详细经典教程----用例图、顺序图、状态图、类图、包图、协作图

面向对象的问题的处理的关键是建模问题。建模可以把在复杂世界的许多重要的细节给抽象出。许多建模工具封装了UML（也就是Unified Modeling Language?），这篇课程的目的是展示出UML的精彩之处。UML中有九种建模的图标，即：用例图类图对象图顺序图协作图状态图活动图组件图配置图本课程中的某些部分包含了这些图的细节信息的页面链接。而且每个部分都有一个小问题，测试一下你对这个部分的理解...

2018-04-10 16:32:13 233

转载 UML类图几种关系的总结

U在UML类图中，常见的有以下几种关系: 泛化（Generalization）, 实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency)1. 泛化（Generalization）【泛化关系】：是一种继承关系，表示一般与特殊的关系，它指定了子类如何特化父类的所有特征和行为。例如：老虎是动物的一种，即...

2018-04-10 16:31:23 85

转载详解UML图之类图

产品经理的必备技能之一是画UML图，本文就告诉你怎么画标准的类图吧。本文结合网络资料和个人心得所成，不当之处，请多指教。1、为什么需要类图？类图的作用我们做项目的需求分析，最开始往往得到的是一堆文字，请看下面这堆文字：本项目是在一期的基础上增加对电缆、通讯工程的管理和施工详细数据的记录和统计，使整个系统更好的管理各工程项目从中标开始到竣工验收的全部过程和资料和分析施工过程的数据。本系统将一条或一个...

2018-04-10 16:30:49 380

转载 CMMI等级是按照什么标准进行区分

CMMI全称是Capability Maturity Model Integration，即能力成熟度模型集成（也有称为：软件能力成熟度集成模型），申请此认证的前提条件是该企业具有有效的软件企业认定证书。CMMI是世界公认的软件产品进入国际市场的通行证，它不仅仅是对产品质量的认证，更是一种软件过程改善的途径。是推动软件企业在产品的研发、生产、服务和管理上不断成熟和进步的手段，是一种持续提升和完善企...

2018-04-10 15:33:28 2138

转载 EJB到底是什么？

1. 我们不禁要问，什么是"服务集群"？什么是"企业级开发"？既然说了EJB 是为了"服务集群"和"企业级开发"，那么，总得说说什么是所谓的"服务集群"和"企业级开发"吧！这个问题其实挺关键的，因为J2EE 中并没有说明白，也没有具体的指标或者事例告诉广大程序员什么时候用EJB 什么时候不用。于是大家都产生一些联想，认为EJB"分布式运算"指得是"负载均衡&

2018-04-10 11:22:11 77

转载在ORACLE中如何删除表中的重复数据

我们可能会出现这种情况，某个表原来设计不周全，导致表里面的数据数据重复，那么，如何对重复的数据进行删除呢？重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。一、对于部分字段重复数据的删除先来谈谈如何查询重复的数据吧。下面语句可以查询出那些数据是重复的： select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 ha...

2018-04-09 18:16:01 1366

转载遍历Map的四种方法

遍历map的4种方式的比较public static void main(String[] args) { Map<String, String> map = new HashMap<String, String>(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", &q

2018-04-09 18:14:37 58

转载 Mysql中的视图

！视图是用来简化查询的，它是用来看的，不是用来修改的，（但是它是可以改的）！表中的数据修改了，则视图中的数据随之改变阅读目录什么是视图视图的特性视图的作用使用场合视图实例1-创建视图及查询数据操作视图实例2-增删改数据操作其它什么是视图通俗的讲，视图就是一条SELECT语句执行后返回的结果集。所以我们在创建视图的时候，主要的工作就落在创建这条SQL查询语句上。视图的特性视图是对若干张基本表的引用，...

2018-04-09 17:43:47 102

转载数据库语言分类

DML（data manipulation language）：它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言。DDL（data definition language）：DDL比DML要多，主要的命令有CREATE、ALTER、DROP等，DDL主要是用在定义或改变表（TABLE）的结构，数据类型，表之间的链接和约...

2018-04-09 17:22:30 112

转载 tar命令详解

在Linux中，压缩与解压用得最多的tar.tar命令确实很厉害。tar -c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件以上五个是独立的命令参数，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的 gz-j：有bz2属性的 bz2-J ：有xz属性的 ...

2018-04-09 15:17:02 1205

转载数据库-范式

作者：Lyken链接：https://www.zhihu.com/question/24696366/answer/46864498来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。NF(normal form)作为一个数据库设计里经常会提到的概念，是每一个初学者都应该了解并掌握的。复习数据库的时候发现 Database System Concepts 这本书里讲的过于...

2018-04-08 11:08:32 165

转载数据库事务的四大特性以及事务的隔离级别

　本篇讲诉数据库中事务的四大特性（ACID），并且将会详细地说明事务的隔离级别。　　如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下四个特性：⑴ 原子性（Atomicity）　　原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如果操作失败则不能对数据库有任何影响。⑵ 一致性（Cons...

2018-04-08 08:41:37 93

转载深入学习排序算法之稳定性、比较次数、交换次数探讨

在学习排序算法时，出于效率考虑，经常容易看到算法的稳定性、比较次数及交换次数研究。特别是考试或者公司笔试题，经常出现这样的题目。由于排序算法有很多种，平时提出大家才能说出个大概，但真要考查这些细节，估计很多人都说不准确。博主下决心写此文章，彻底探查清楚这些问题，与大家共享之。首先说明稳定性是指相同元素在排序后相对位置保持不变。个人感觉稳定性的含义在于更广泛情形下，排序元素通常具有...

2018-04-04 17:42:49 754

转载数据结构-二叉树

二叉树是树的特殊一种，具有如下特点：1、每个结点最多有两颗子树，结点的度最大为2。2、左子树和右子树是有顺序的，次序不能颠倒。3、即使某结点只有一个子树，也要区分左右子树。一、特殊的二叉树及特点 1、斜树所有的结点都只有左子树（左斜树），或者只有右子树（右斜树）。这就是斜树，应用较少2、满二叉树所有的分支结点都存在左子树和右子树，并且所有的叶子结点都在同一层上，这样就是满二叉树。就是完美圆满的意思...

2018-04-04 16:09:11 397

转载软件测试的目的、原则及流程

一、软件测试的目的 1）软件测试是为了发现错误而执行程序的过程。 2）测试是为了证明程序有错，而不是证明程序无错。（发现错误不是唯一目的） 3）一个好的测试用例在于它发现至今未发现的错误。 4）一个成功的测试是发现了至今未发现的错误的测试。注意： 1、测试并不仅仅是为了要找出错误。通过分析错误产生的原因和错误的分布特征。可以帮助...

2018-04-04 14:39:50 54609

转载线性表

存储类别顺序存储结构单链表存储分配方式用一段连续的存储单元依次存储线性表的数据元素采用链式存储结构，用一组任意的存储单元存放线性表的元素时间性能查找O（1）、插入和删除O（n）查找O（n）、插入和删除O（1）空间性能需要预分配存储空间，分大了浪费，小了容易发生上溢不需要分配存储空间，只要有就可以分配，元素个数不受限制通过上面的对比，可以得出一些经验性的结论：若线性表需要频繁查找，很少进行插入和删...

2018-04-04 14:34:40 344

转载自底向上和自顶向下

动态规划的式子都是状态P由状态Q1、Q2、Q3……之中选择一个或几个计算出来的形式，但是如果一直是一些状态这样递归下去，最后会无限循环的，所以每个式子一直写下去最后都会得到一些状态P是常数（递归边界）的形式。（以上可构造一个DAG）自底向上就是已经知道了所有递归边界，把所有可能的状态都算出来。基本步骤是一个拓扑排序的过程，从所有递归边界出发，当一个状态被所有可能的下层状态更新后，就用这个状态去更新...

2018-04-04 14:25:48 4157 1

转载理解REST架构

本文是“深入探索REST”专栏系列深度内容中的第二篇，它将带您领略REST架构的起源、与Web的关系、REST架构的本质及特性，以及REST架构与其他架构风格之间的比较。引子在移动互联网、云计算迅猛发展的今天，作为一名Web开发者，如果您还没听说过“REST”这个buzzword，显然已经落伍了。夸张点说，甚至“出了门都不好意思跟别人打招呼”。尽管如此，对于REST这个泊来品的理解，大多数人（包括...

2018-04-03 18:20:22 257

转载 RESTful API的理解

技术交流的时候遇到了这样的一个问题，被问及开发中用到的是不是Restful API，我说的是，我们现在用到的不属于完全是Restful API。因为我了解到的Restful API，是通过具体的URI定位符，找到对应的资源，然后以固定的格式返回数据，这样的才是Restful API。然而在我模糊的表达中，对方听出来的是，我现在开发的API依然属于Restful API。那么什么才是真正的Rest...

2018-04-03 16:55:01 88

转载更新大数据的表结构的缓和做法

场景前些天遇到一个问题，要往线上数据库中数据量比较大的表格里添加新的字段，以及赋上默认值，执行的时间比较长，如果直接在原表格的基础上直接执行sql,害怕会将表格甚至是数据库弄成死锁。和团队兄弟聊了聊找到了一种办法，不知道的也可以借鉴一下。解决办法复制表结构到临时表CREATE TABLE t_bdcards_temp LIKE t_bdcards;给临时表格添加一个字段ALTER TABLE t_...

2018-04-03 15:52:35 300

转载 ODS 与 EDW

ODS简单的理解为 Operational Data Store, 可操作的数据仓库。EDW简单理解为 Enterprise Data Warehouse, 企业级数据仓库。普遍存在于各种企业的BI(Business Intelligence) 项目。ODS是数据仓库的一个扩展，它也是一个企业级的数据存储模式，它的构造也是面向主题的。ODS是企业中运行系统发布信息的地方，这些信息是实时或接近实时的...

2018-04-03 15:48:42 816

雨后的空气