tianyeshiye

天之道,损有余而补不足.人之道,则不然,损不足以奉有余.孰能有余以奉天下?唯有道者...

排序:
默认
按更新时间
按访问量
RSS订阅

大数据框架、概念等 简短总结 (持续总结中)

数据仓库  更关注数据分析层面(OLAP) 一次写入、多次读取 HDFS 分布式文件系统 HDFS适合批处理场景,不支持数据随机查找,不适合增量数据处理且不支持数据更新 Habse 分布式文件系统的动态查询,HDFS的随机读写操作 HBase并不适合传统的事物处理程序或关联分析,不支...

2018-08-29 23:30:56

阅读数:24

评论数:0

大数据分析的下一代架构--IOTA架构

版权声明:*************本文为博主原创文章,转载请注明出处*************    https://blog.csdn.net/oDaiLiDong/article/details/80035658 IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经...

2018-12-04 15:13:55

阅读数:7

评论数:0

【每日一题-20181120-summary】The Log --- 所有系统的 Log 应用总结(问:kafka 为什么使用 log应用?)

http://www.cnblogs.com/foreach-break/p/notes_about_distributed_system_and_The_log.html 前言 这是一篇学 习笔记。 学习的材料来自Jay Kreps的一篇讲Log的博文。 原文很长,但是我坚持看完了,收获颇...

2018-11-23 17:22:27

阅读数:5

评论数:0

【每日一题-20181119-summary --- 待添加】kafka总结 - kafka原理 官方文档片段总结

kafka 官方文档 http://kafka.apache.org/documentation.html 官方文档片段总结 1 介绍   Topics and Logs Consumers  and Group Log Compaction Basics 描述 Ka...

2018-11-23 17:13:09

阅读数:20

评论数:0

【每日一题-20181118-summary】kafka总结 - kafka多分区的情况下保证数据的时序性

描述:kafka 在多分区的情况下,跨分区的数据消费是无序的 1 个topic -->  N个 partation 1 个topic -->  N组 offset 1 个partation --> 1组 offset 解决方...

2018-11-23 16:54:40

阅读数:24

评论数:0

【Big Data 每日一题20181117】块储存、对象存储、文件存储的区别和联系

转:https://blog.csdn.net/qq_23348071/article/details/70232735 通常来讲,磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。 1. 块存储:DAS   SAN a) DAS(Direct Attach Storag...

2018-11-16 00:06:31

阅读数:3

评论数:0

【Big Data 每日一题20181116】块存储、文件存储、对象存储意义及差异

转:https://www.cnblogs.com/hukey/p/8323853.html 关于块存储、文件存储、对象存储方面的知识在知乎上看到了个很好的解答:https://www.zhihu.com/question/21536660 通俗易懂,查了些资料做了详细的补充。  块存储 ...

2018-11-16 00:05:25

阅读数:4

评论数:0

【Big Data 每日一题-20181115】linux 命令技巧 chmod & Set-User-ID & Set-Group-ID

转:https://blog.csdn.net/pi9nc/article/details/14139465 本篇文章讨论的是Linux/Unix的权限问题,包括文件的访问权限、可执行文件的权限以及修改这些权限的命令chmod。 Linux权限模式介绍   用ls -l命令列出文件的详细信息...

2018-11-16 00:03:13

阅读数:3

评论数:0

【Big Data 每日一题20181114】How NOT to pull from S3 using Apache Spark

总结: 具体是说spark使用 textFiles 读取 aws S3 上的文件会有意想不到的問題 解決辦法是使用S3客戶端API并行读取s3上的文件 问题的英文描述 This worked fine at first but as the dataset grew we noticed tha...

2018-11-14 23:25:13

阅读数:6

评论数:0

【Big Data 每日一题20181112】大量数据去重:Bitmap和布隆过滤器(Bloom Filter)

5TB的硬盘上放满了数据,请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决?如果是64bit的呢? 在面试时遇到的问题,问题的解决方案十分典型,但对于海量数据处理接触少的同学可能一时也想不到什么好方案。介绍两个算法,对于空间的利用到达了一种极致,那就是Bitmap...

2018-11-12 22:12:45

阅读数:13

评论数:0

【Big Data 每日一题20181111】为什么有栈内存和堆内存之分

为什么有栈内存和堆内存之分?         数组引用变量只是一个引用,这个引用变量可以指向任何有效的内存,只有当该引用指向有效内存,才可以通过该数组变量来访问数组。        实际的数组对象被储存在堆(heap)内存中;如果引用该数组对象引用变量是一个局部变量,那么它被储存在栈(stac...

2018-11-11 23:42:13

阅读数:5

评论数:0

【Big Data 每日一题20181110】Jmeter接口测试+压力测试

转:https://blog.csdn.net/github_27109687/article/details/71968662 jmeter是apache公司基于java开发的一款开源压力测试工具,体积小,功能全,使用方便,是一个比较轻量级的测试工具,使用起来非常简单。因为jmeter是jav...

2018-11-11 23:40:56

阅读数:5

评论数:0

【Big Data 每日一题20181109】分布式锁的作用及实现(Redis)

前言 分布式锁一般有三种实现方式:1. 数据库乐观锁;2. 基于Redis的分布式锁;3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客,然而他们的实现却有着各种各样的问题,为了避免误人子弟,本篇博客将...

2018-11-08 22:45:16

阅读数:35

评论数:0

【Big Data 每日一题 - 20181108】Redis 的操作为什么是的原子性的详解

redis 的incr/decr 的原子性是什么意思 原子性(atomicity):一个事务是一个不可分割的最小工作单位,事务中包括的诸操作要么都做,要么都不做。 对于Redis而言,命令的原子性指的是:一个操作的不可以再分,操作要么执行,要么不执行。 Redis所有单个命令的执行都是原子性...

2018-11-08 22:37:46

阅读数:6

评论数:0

【Big Data 每日一题20181107】详解JVM GC的工作原理

详解Java GC的工作原理 JVM内存管理和JVM垃圾回收 JVM内存组成结构 JVM内存结构由堆、栈、本地方法栈、方法区等部分组成,结构图如下所示:     1)堆 所有通过new创建的对象的内存都在堆中分配,其大小可以通过-Xmx和-Xms来控制。堆被划分为新生代和旧生代,...

2018-11-04 22:48:07

阅读数:53

评论数:0

【Big Data 每日一题20181106】JVM 运行时开启GC日志

转 : https://www.cnblogs.com/xuezhiyizu1120/p/6237510.html 目录   一、GC日志的格式分析   二、运行时开启GC日志 一、GC日志的格式分析 在讲述GC日志之前,我们先来运行下面这段代码   1 package com....

2018-11-04 22:44:42

阅读数:37

评论数:0

【Big Data 每日一题20181105】JVM GC参数设置、日志的格式分析

一、GC日志的格式分析 一、常用gc日志配置参数 -XX:+PrintGC #输出GC日志 -XX:+PrintGCDetails #输出GC的详细日志 -XX:+PrintGCTimeStamps #输出GC的时间戳(代表了GC发生的时间,这个数字的含义是从Java 虚拟机启动以来经过的秒...

2018-11-04 22:40:42

阅读数:34

评论数:0

【Big Data 每日一题20181104】Minor GC、Major GC和Full GC之间的区别

在 Plumbr 从事 GC 暂停检测相关功能的工作时,我被迫用自己的方式,通过大量文章、书籍和演讲来介绍我所做的工作。在整个过程中,经常对 Minor、Major、和 Full GC 事件的使用感到困惑。这也是我写这篇博客的原因,我希望能清楚地解释这其中的一些疑惑。 文章要求读者熟悉 JVM ...

2018-11-04 22:05:48

阅读数:60

评论数:0

【Big Data 每日一题20181103】你应该知道的RPC原理

转 https://www.cnblogs.com/LBSer/p/4853234.html 你应该知道的RPC原理   在学校期间大家都写过不少程序,比如写个hello world服务类,然后本地调用下,如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。   而一旦踏入公司尤...

2018-11-04 00:14:04

阅读数:48

评论数:0

【Big Data 每日一题20181102】一个故事讲清楚NIO

转载请引用:一个故事讲清楚NIO   假设某银行只有10个职员。该银行的业务流程分为以下4个步骤: 1) 顾客填申请表(5分钟); 2) 职员审核(1分钟); 3) 职员叫保安去金库取钱(3分钟); 4) 职员打印票据,并将钱和票据返回给顾客(1分钟)。   我们看看银行不同的工作方式...

2018-11-04 00:10:35

阅读数:21

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭