tianyeshiye

天之道,损有余而补不足.人之道,则不然,损不足以奉有余.孰能有余以奉天下?唯有道者...

大数据框架、概念等 简短总结 (持续总结中)

数据仓库  更关注数据分析层面(OLAP) 一次写入、多次读取 HDFS 分布式文件系统 HDFS适合批处理场景,不支持数据随机查找,不适合增量数据处理且不支持数据更新 Habse 分布式文件系统的动态查询,HDFS的随机读写操作 HBase并不适合传统的事物处理程序或关联分析,不支...

2018-08-29 23:30:56

阅读数:24

评论数:0

Book Collection

Essential Netty in Action 《Netty 实战(精髓)》 https://github.com/waylau/essential-netty-in-action Essential Netty in Action 《Netty 4.x 用户指南》 https://gi...

2018-06-26 21:54:43

阅读数:47

评论数:0

编程思想总结 - 堆排序,少做无用功

堆排序,用于解决一下通用问题消费前十名总成绩最好的前十名思想源自吴军

2018-06-26 20:27:37

阅读数:27

评论数:0

编程思想总结 - 分解问题,解决问题

1, 先把问题理解清楚       确认好场景,考虑的因素       沟通并确认好已知2, 基于已知信息,分解问题        在已知的基础上,把一个问题分解成几个子问题3, 解决问题 (避免做无用功)        解决子问题,找到更好的解决方法4, 基于分布的子问题解决,重构解决方案, 全...

2018-04-15 13:05:03

阅读数:42

评论数:0

学习总结 - swift适配器 为 Hadoop 的存储层增加对 OpenStack Swift 的支持

虽然文档内所涉及的版本有点旧,但内容很精彩,值得推荐 背景 在 Hadoop 中有一个抽象文件系统的概念,它有多个不同的子类实现,由 DistributedFileSystem 类代表的 HDFS 便是其中之一。在 Hadoop 的 1.x 版本中,HDFS 存在 NameNode 单点故障,...

2018-12-12 17:58:05

阅读数:1

评论数:1

学习笔记 - swift 对象存储 和 文件系统

 对象存储和文件系统存储区别: 所谓文件系统的本质是POSIX接口,“对象”这个名词是做对象存储的人为了把自己做的东西和文件系统区分开而用的术语,把存在对象存储里的文件叫做“对象”,所以选择文件系统还是对象存储,跟你把这堆数据称作对象还是文件并没有直接关系,而是要看你是需要POSIX还是RE...

2018-12-12 16:14:39

阅读数:0

评论数:0

LOG的含义 : Mysql 之 binlog介绍

1、什么是binlog         binlog是一个二进制格式的文件,用于记录用户对数据库更新的SQL语句信息,例如更改数据库表和更改内容的SQL语句都会记录到binlog里,但是对库表等内容的查询不会记录。    默认情况下,binlog日志是二进制格式的,不能使用查看文本工具的命令(...

2018-12-06 22:36:57

阅读数:50

评论数:0

学习笔记 --- Java 并发编程总结值 集合 ConcurrentHashMap

并发容器 Java5.0开始针对多线程并发访问设计,提供了并发性能较好的并发容器,引入了java.util.concurrent包。与Vector和Hashtable、Collections.synchronizedXxx()同步容器等相比,util.concurrent中引入的并发容器主要...

2018-12-05 10:50:55

阅读数:5

评论数:0

学习笔记 Mark--- 深入分析 ThreadLocal 内存泄漏问题

  前言 ThreadLocal 的作用是提供线程内的局部变量,这种变量在线程的生命周期内起作用,减少同一个线程内多个函数或者组件之间一些公共变量的传递的复杂度。但是如果滥用ThreadLocal,就可能会导致内存泄漏。下面,我们将围绕三个方面来分析ThreadLocal 内存泄漏的问题 T...

2018-12-05 10:32:23

阅读数:11

评论数:0

学习笔记 --- Java 并发编程总结二 ThreadLocal

ThreadLocal是什么 ThreadLocal是一个本地线程副本变量工具类。主要用于将私有线程和该线程存放的副本对象做一个映射,各个线程之间的变量互不干扰,在高并发场景下,可以实现无状态的调用,特别适用于各个线程依赖不通的变量值完成操作的场景。 下图为ThreadLocal的内部结构...

2018-12-05 10:11:00

阅读数:10

评论数:0

学习笔记 --- Java 并发编程总结一 countDownLatch,CyclicBarrier,Semaphore

在多线程程序设计中有三个同步工具需要我们掌握,分别是Semaphore(信号量),countDownLatch(倒计数门闸锁),CyclicBarrier(可重用栅栏) CountDownLatch和CyclicBarrier都能够实现线程之间的等待,只不过它们侧重点不同:     CountD...

2018-12-05 10:09:49

阅读数:4

评论数:0

学习笔记 --- JVM 堆溢出、栈溢出、永久代溢出、直接内存溢出

栈溢出(StackOverflowError)           ---    递归引起  栈空间不足      ---   线程请求的栈深度大于虚拟机所允许的最大深度,将抛出StackOverflowError 堆溢出(OutOfMemoryError:Java heap space) ...

2018-12-04 22:58:13

阅读数:8

评论数:0

大数据分析的下一代架构--IOTA架构

版权声明:*************本文为博主原创文章,转载请注明出处*************    https://blog.csdn.net/oDaiLiDong/article/details/80035658 IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经...

2018-12-04 15:13:55

阅读数:7

评论数:0

学习笔记 --- JVM 堆外内存(off-heap)、堆内内存(on-heap)

堆内内存(on-heap) Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的,也称为堆内内存(on-heap memory)。虚拟机会定期对垃圾内存进行回收,在某些特定的时间点,它会进行一次彻底的回收(full gc)。彻底回收时,垃圾收集器会对所有分配的堆内内存进行完整的扫描,这...

2018-12-04 10:15:19

阅读数:8

评论数:0

学习笔记 --- Kafka Spark Streaming获取Kafka数据 Receiver与Direct的区别

Receiver 使用Kafka的高层次Consumer API来实现 receiver从Kafka中获取的数据都存储在Spark Executor的内存中,然后Spark Streaming启动的job会去处理那些数据 要启用高可靠机制,让数据零丢失,就必须启用Spark Streamin...

2018-12-04 09:43:25

阅读数:33

评论数:0

学习笔记 --- Spark SparkSQL下Parquet中PushDown的实现

PushDown是一种SQL优化方式,通常用在查询。应用场景: 假设通过DataFrame,df.select(a,b,c).filter(by a).filter(by b).select(c).filter(by c)这样的查询,在optimizer阶段,需要合并多个filters(Comb...

2018-12-03 16:22:47

阅读数:14

评论数:0

整理总结 --- Redis 为什么说Redis是单线程的

那么为什么Redis是单线程的 Redis 所需资源 CPU, 内存,  网络I/O 官方FAQ表示,因为Redis是基于内存的操作,CPU不是Redis的瓶颈,Redis的瓶颈最有可能是机器内存的大小或者网络带宽。既然单线程容易实现,而且CPU不会成为瓶颈,那就顺理成章地采用单线程的方案了(...

2018-12-03 15:14:35

阅读数:8

评论数:0

学习笔记 --- JVM JIT与JVM,编译器与解释器

JVM---包括解释器 JVM:是java的核心和基础,在java编译器和os平台之间的虚拟处理器。它是一种利用软件方法实现的抽象的计算机基于下层的操作系统和硬件平台,可以在上面执行java的字节码程序。 java编译器只要面向JVM,生成JVM能理解的代码或字节码文件。Java源文件经编译成字节...

2018-12-03 14:24:05

阅读数:12

评论数:0

(待)整理总结 --- Swift问题整理 (应用场景,并发写入.........)

Swift 并发写入情况     swift 应用场景 Swift针对的是读写都比较频繁的场景,所以采用了比较折中的策略, 即写操作需要满足至少一半以上成功W>N/2,再保证读操作与写操作的副本集合至少产生一个交集,即R+W>N。   swi...

2018-12-03 14:06:41

阅读数:8

评论数:0

整理总结 --- HDFS 与 Swift 区别

Swift和Hadoop分布式文件系统(HDFS)都有着相似的目的:实现冗余、快速、联网的存储 swift 扩展性好,跨集群,无单点  无限的可扩展性 无单点故障 swift  的多租户架构 swift  可以写入多次 swift 是通用的解决方案, 存储数量非常多的大小不一的文件, hd...

2018-12-03 14:01:59

阅读数:7

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭