- 博客(49)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 撸论文系列之——Bigtable
特征：分布式，结构化，海量数据，PB级集群使用案例：web索引、Google Earth、Google Finance等优势：适用性广、可扩展、灵活、高性能和高可用目的：可靠处理PB级数据，分布式部署劣势：不支持完整关系数据模型数据模型： 定义——Bigtable是一个稀疏的、分布式的、持久化存储的多维度排序Map。Map的索引是行关键字、列关键字以及时间戳；Map中的每个v...
2018-08-29 07:27:01
606
原创 撸完了GFS论文之后的感悟
首先，是一点关于设计分布式文件系统的思路和出发点，即要考虑自己应用的负载情况和技术环境的分析，综合考量之后才能更好的定义设计原型，体现更多的概念完整性和适用性。 另外，设计一门新技术首先就是要观察现有的技术有哪些缺陷需要改进或重造，不然谁会乐意更换一套东西呢？何况是一位不知名的设计师或一个从没有见诸报端的设计团队创造的。 通用的考虑既是性能、可伸缩性、可靠性以及可用性，而我更倾向于将可用性放在...
2018-08-23 08:07:21
979
原创 为什么会有NewSQL？
想必看到此篇的同学对于newSQL已经不是很陌生了，那么直接进入今天的主题： mysql的问题在哪？ 一、不能通过mysql的server把InnoDB变成一个分布式数据库。 因为mysql生成的执行计划是个单机的 二、一个分布式的plan执行起来很复杂且低效。 比如使用分布式方案Proxy，因为它不支持分布式的transaction，也不支持跨节点的join 三、异步或半同步复制 ...
2018-08-12 21:32:31
4251
翻译 CQRS很难吗？
好久没来这里了，今天登上来发现界面风格变化很大，而且博客也开始支持markdown，越来越先进了。那么就借着这个势头分享下最近一直在研究的DDD-CQRS。有些人说“CQRS很难吗？”是吗？好吧，我之前也一直是这么认为的！但是当我开始编写使用CQRS的第一件软件作品时，一切都改变了。我发现他一点都不复杂。而且我认为在大型团队中保持这种编程行为将变得更容易。我也曾思考为什么人们普遍认为C...
2018-08-05 20:21:00
4282
原创 撸论文系列之——MapReduce
初识—— MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。 用途—— 可以用下图表示： 好处—— 采用MapReduce架构可以使得没有并行计算和分布式处理系统开发经验的人员有效利用分布式系统的丰富资源。 背景—— 在处理海量原始数据过程中，由于输入的数据量巨大，如果需要在可接受的时间内完成运算，只有将这些计算分布在成百上千的主机上。而分发数据...
2018-08-30 07:15:53
316
原创 分布式的现在和未来
分布式是个很大的概念和领域，它涉及到众多相关的知识，比如分布式锁，分布式事务，消息机制，数据库分片，复制，容灾，分布式文件系统等等。 那么它为什么值得我们研究呢？以及未来还会有哪些发展趋势，和其他领域的知识有哪里是相通的呢？这篇文章将给你介绍一下。说起分布式，大家可能最熟悉不过的就是2PC和3PC了，2PC即二阶段提交，它是为了解决分布式环境下，数据的强一致性衍生出的概念。具体实现原理是第一...
2018-08-21 07:00:44
857
原创 Java8 Parallel Stream：一次线上告警引发的思考
由于在使用parallelStream()时没有注意并发安全性，导致返回结果中出现null元素，触发了线上报警，上游服务通过RPC调用下游服务时服务超时，而客户端是采用轮询的方式检查接口最新数据，所以每30s就会报一次。 最后查明是由于下游服务在write回流过程中遇到NPE阻断了写入流程导致。 下面贴出事故代码： 由于在并行流过程中使用了非线程安全的ArrayList，底层维护的数据在...
2018-08-18 15:50:49
4291
原创 Hadoop学习笔记：MapReduce框架详解
Mapreduce初析 Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。 我们要学习的就是这个计算模型的运行规...
2017-01-12 16:10:00
45
原创 Linux Shell（四）
由于Shell主要是字符串处理语言，所以利用Shell变量对字符串做很多事。然而，因为算术运算也是必要的，所以POSIX Shell也提供利用Shell变量执行算术运算的机制。 export与readonly export用于修改或打印环境变量，readonly则使得变量不得修改。 由于...
2016-11-29 15:55:00
49
原创 《比利林恩的中场战事》观后感
周五看了一部比较特别的影片，片名也比较奇特，叫做《比特林恩的中场战事》，讲述的是在伊拉克战争中取得不俗表现的B队，在回国之后接受了民众的强烈推崇和议论，进而得到一次可以和当时（2004年）最当红的女子天团——真命天女组合一同在超级碗总决赛的中场休息时间进行亮相和表演的机会。 从故事的主人公比...
2016-11-28 18:44:00
210
原创 《奇异博士》观后感
又是漫威的一部大作，主要讲述的是一名高智商但是很自负的外科医生因为一次车祸导致手神经残疾，而去寻访能治好他的手的途中，遇到了可以通过意念和精神力来治愈人类伤痛的古一法师。而后通过在古一法师的引导下，同时通过在学校里的专研，外科医生习得了一种可以操纵时间的神奇魔法。之后在一次交战中古一...
2016-11-28 18:43:00
152
原创 Linux Shell（三）
从结构化文本文件中提取数据 Shell脚本真正好用的地方是：当我们想修改脚本让它做点不一样的事，例如插入由key:jobtilte文件而来的工作职称时，只需要修改最后的管道。 join -t: $PERSON /etc/passwd.job-title | join -t: - ...
2016-11-28 18:39:00
70
原创 Linux Shell（二）
排序sort 删除重复uniq 消除的操作是依据匹配的键值，而非匹配的记录 与sort通过pipeline配合使用 $ cat latin-numbers tres unus duo tres duo tres $ sort latin-numbers | uniq ...
2016-11-27 11:58:00
47
原创 linux shell（一）
一、查找文件命令传统上分为三种：grep、egrep、fgrep 三种命令的区别在于：fgrep是唯一支持并行匹配多个字符串的版本；而grep与egrep只能匹配单个正则表达式。 grep默认行为模式： grep == grep -F fgrep == grep -F egrep == ...
2016-11-25 13:50:00
51
原创 特别推荐：开发者的10个最佳代码游乐场
1. Codepen CodePen是一个web前后端游乐场。它基于激发、传授和分享。能高亮热门示例(“Pen”)，且提供高级功能， 如共享和嵌入。需要建立一个减少测试案例来演示并找出一个bug?CodePen绝对适合这个场景。想炫耀你的最新创作和获得同行的反馈? CodePen是绝一不...
2015-01-23 08:54:00
150
原创 在win7上安装Arduino驱动
买来Arduino初学者套件之后就兴奋地准备大干一场了，但是第一步就遇到了问题。我使用的是Win7 x64系统，而网上关于win7系统安装Arduino uno r3驱动的话题也是众说纷纭，再试验了多种方法之后，最后确定了一个方法为最佳方案。 里面涉及到的两个博客地址为： ht...
2014-05-10 10:49:00
563
2
原创 好玩的TogetherJS
上图就是TogetherJS的示例图。 示例代码如下： <!DOCTYPEhtml><html><metacharset="utf-8"><scriptsrc="https://togetherjs.com/togetherjs-m...
2014-05-05 09:21:00
140
1
原创 dubbo学习
Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。 其核心部分包含: 远程通讯:提供对多种基于长连接的NIO框架抽象封装，包括多种线程模型，序列化，以及“请求-响应”模式的信息交换方式。 集群容错:提供基于接口方法的透明...
2014-04-21 21:18:00
64
原创 按需加载代码的实现
先上代码： /*按需加载*/ functionsendsearch(){ queryString(); varurl="/xwiki/rest/wikis/xwiki/query?q="+sqlStr+"&type=hql"; varstr=""; ...
2014-04-13 09:27:00
91
原创 2014，成为更好程序员的7个方法
// 译注：英文原文发布今年年初，所以开头提到了”新年“，请不要惊讶~ 程序员总是有很多的决定，不是吗？如果你的新年待办事项还是空白的话，那么可以考虑使用下面这些程序员的想法。即使是最聪明的人，也还有成长空间。以下内容摘录自Kevlin Henney的《程序员应该知道的 ...
2014-04-01 10:32:00
49
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人