2016年05月_时冲

06月 05月 04月 03月

转载记录一次MongoDB3.0.6版本wiredtiger与MMAPv1引擎的写入耗时对比

MongoDB3.0.x的版本特性（相对于MongoDB2.6及以下）：增加了wiredtiger引擎：开源的存储引擎；支持多核CPU、充分利用内存/芯片级别缓存(注：10月14日刚刚发布的3.0.7版本中，进一步改进了内存操作的性能)；基于B-TREE及LSM算法；提供文档级锁(document-level concurrency control

2016-05-31 10:21:58 2269

转载谷歌三篇论文之三---BigTable

首先，BigTable 从 2004 年初就开始研发了，到现在为止已经用了将近8个月。（2005年2月）目前大概有100个左右的服务使用BigTable，比如： Print,Search History,Maps和 Orkut。根据Google的一贯做法，内部开发的BigTable是为跑在廉价的PC机上设计的。BigTable 让Google在提供新服务时的运行成本降低，最大限度地利用了计算能

2016-05-23 15:22:58 500

转载谷歌三篇论文之一---GFS

Google文件系统 GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览（1）设计想定 GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件

2016-05-23 15:21:57 3784

转载谷歌三篇论文之二---MapReduce

MapReduce：超大机群上的简单数据处理 MapReduce是一个编程模型，和处理、产生大数据集的相关实现。用户指定一个map函数处理一个key/value对，从而产生中间的key/value对集。然后再指定一个reduce函数合并所有的具有相同中间key的中间value。下面将列举许多可以用这个模型来表示的现实世界的工作。

2016-05-23 15:20:21 2360

原创 HIVE和HBASE区别

1. 两者分别是什么？ Apache Hive是数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它是基于MapReduce算法。 Apache HBase Key/Value，基础单元是cell，它运行在HDFS之上。

2016-05-21 22:03:58 441

原创 java 匿名内部类

大家不要想太多它就是一个子类，只不过没有名字而已，对于一个没有名字的子类那肯定得放在内部，所以就会叫匿名内部类。public class TestAnonymousInterClass{ public static void main(String args[]){ TestAnonymousInterClass test=n

2016-05-11 17:39:25 375

原创 Java中二进制、十进制、十六进制及ASCII码与String及字节数组与十六进制之间的转换

public class DigitalTrans { /** * 数字字符串转ASCII码字符串 * * @param String * 字符串 * @return ASCII字符串 */ public static String StringToAsciiString(Str

2016-05-09 12:54:42 12727

转载 java.util.concurrent 并发框架，异步执行器 Executor

1. java.util.concurrent - Java 并发工具包Java 5 添加了一个新的包到 Java 平台，java.util.concurrent 包。这个包包含有一系列能够让 Java 的并发编程变得更加简单轻松的类。在这个包被添加以前，你需要自己去动手实现自己的相关工具类。本文我将带你一一认识 java.util.concurrent 包里的这些类，然后你可以尝试着如何

2016-05-06 17:24:24 2651

原创 Hive

1 hadoop 的mapreduce是分布式的计算框架2 解决不会java但还要用mapreduce。hive 非java编程者对hdfs的数据做类似mapreduce的操作3 把sql翻译成mapreduce任务，提交给hadoop集群来执行4 由于hive是把sql翻译成mapreduce任务，那么 1 得有数据仓库（表）只用来

2016-05-06 15:29:38 559

原创 CDH

1 ping www.baidu.com2 修改hosts文件3 关闭防火墙4 互相免密登录，注意自己对自己的免密 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys scp ~/.ssh/id

2016-05-06 15:27:47 1330

原创机器学习

1 机器学习的子类是深度学习，机器学习的父类是人工智能，核心都是机器学习。百度大脑、谷歌大脑等都属机器学习，百度和谷歌数据量都大所以才会有百度大脑谷歌大脑2 机器学习，我只要有大量数据，我去训练，我就可以训练出一个好的模型，而且这个模型就可以做预测，预测和分类是分不开的3 机器学习就是拟人拟人： 1 大量已有的数据（经

2016-05-06 15:24:51 725

原创 zookeeper

1 ZooKeeper 它是一个为分布式协调服务，那么它提供了一个分布式锁服务，用以协调其他分布式的应用。它是Google的Chubby一个开源的实现，Google的项目一般不开源，因为开源后别人也用不了，它的服务节点都非常之大 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zo

2016-05-06 15:23:42 669

转载 Android Intent的简介以及属性的详解

一.Intent的介绍Intent的中文意思是“意图，意向”，在Android中提供了Intent机制来协助应用间的交互与通讯，Intent负责对应用中一次操作的动作、动作涉及数据、附加数据进行描述，Android则根据此Intent的描述，负责找到对应的组件，将 Intent传递给调用的组件，并完成组件的调用。Intent不仅可用于应用程序之间，也可用于应用程序内部的Activity/Ser

2016-05-06 10:42:51 351

转载 Activity生命周期

子曰：溫故而知新，可以為師矣。《論語》学习技术也一样，对于技术文档或者经典的技术书籍来说，指望看一遍就完全掌握，那基本不大可能，所以我们需要经常回过头再仔细研读几遍，以领悟到作者的思想精髓。近来回顾了一下关于Activity的生命周期，参看了相关书籍和官方文档，也有了不小的收获，对于以前的认知有了很大程度上的改善，在这里和大家分享一下。熟悉javaEE的朋友们都了解servlet技术，

2016-05-06 10:15:46 303