- 博客(48)
- 收藏
- 关注
RSS订阅转载 三种存储结构
目前常见的三种存储结构 DAS：直连存储 NAS：网络附属存储 SAN：存储区域网 DAS：直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据...
2016-07-26 15:02:58
432
转载 Storm的跟踪算法-异或
Storm 对于 tuple 的跟踪算法是 storm 最大的突破。这个算法使得对于任意大的一个 tuple tree， 它只需要恒定的20字节就可以进行跟踪了。Storm 系统中有一组叫做“acker”的特殊任务，它...
2016-06-22 15:28:28
233
转载 如何对Storm的可靠性进行定制？
声明：本文参照阿里系图书《Storm实战》和网上收集资料Storm可以保证从Spout发出的每个消息都能被完全处理。Storm的可靠性机制是完全分布式的(distributed)，可伸缩的(scalable)，容错的(f...
2016-06-22 15:14:02
152
转载 如何设置Storm并行度
1.关于Storm并行，一些需要了解的概念 storm的并行是由非常多的supervisor完成的。 storm的supervisor运行的是topology中的spout/bolt task。...
2016-06-21 18:52:10
198
转载 MapReduce实现倒排索引（简单思路）
倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引...
2016-06-14 11:28:29
1289
转载 MapReduce实现倒排索引（多路径输入）
案例采用 MultipleInputs类 实现多路径输入的倒排索引。 package test0820;import java.io.IOException;import j...
2016-06-14 11:16:43
146
转载 Zookeeper解决Hadoop单点问题
Yarn主要由四部分组成ResourceManage（RM） NodeManage（NM） ApplicationMaster（AM） ContainerYarn单点故障YARN的单点故障指的是ResourceM...
2016-06-06 11:55:17
208
转载 端午小记
在公司近三年，一直从事数据方面的工作，逐渐也对数据充满了兴趣，立志职业生涯就扑在上面了。前段时间出于学习和练胆的目的，在公司内部搞了个《大数据系列技术分享》，基本将自己平时工作学习的内容都总结成了ppt，然后在公司所有项...
2016-06-05 15:41:09
99
转载 Zookeeper应用场景之【集群管理】
一、集群机器监控这通常用于那种对集群中机器状态，机器在线率有较高要求的场景，能够快速对集群中机器变化作出响应。这样的场景中，往往有一个监控系统，实时检测集群机器是否存活。过去的做法通常是：监控系统通过某种手段（比如pin...
2016-06-02 17:18:18
172
转载 Zookeeper应用场景之【数据发布/订阅】
场景描述：发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。使用Z...
2016-06-02 15:50:16
85
转载 ZooKeeper的系统打印Log的处理方法
各位同学在执行Zookeeper程序的时候是不是会遇到一个问题，屏幕上打印出大量的Zookeeper日志，自己程序的日志被淹没在其中，很难调试程序。对zookeeper的配置进行如下更改，可解决以上问题首先修改：...
2016-05-31 19:41:31
682
转载 Centos 用yum安装软件包命令总结
习惯在debian用apt-get安装软件的朋友，忽然换到类似centos系统可能会不适用，其实centos系统的发行版本RedHat对软件安装的支持也很方便，那就是神器yum，下面就对yum常用命令做个总结。yum是一...
2016-05-26 16:11:24
785
转载 Linux查看内核或系统版本总结
工作中，发现部门内很多同学还不是很清楚，如何查看所用linux服务器的操作系统版本，或者只会一种，下面总结一下：一、查看Linux内核版本命令（两种方法）：1、cat /proc/version[root@l...
2016-05-26 15:07:46
97
转载 Zookeeper的ZAB协议与Paxos协议区别
一、联系1. 两者构建的系统都有一个Leader角色，Leader进程负责协调多个Follower进程的运行2. Leader进程都会等待超过半数的Follower进程做出正确的分亏后，才会将一个提案进行提交3. 在...
2016-05-26 11:59:02
498
转载 Zookeeper的核心：ZAB原子消息广播协议
ZooKeeper为高可用的一致性协调框架，自然的ZooKeeper也有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法，ZAB（ZooKeeper Atomic Bro...
2016-05-25 22:05:38
165
转载 paxos分布式一致性算法
关于paxos的通俗解释，大家可以去围观以下两个博客：用三国场景展现paxos原理博文1：http://blog.csdn.net/russell_tao/article/details/7244530博文2：ht...
2016-05-23 20:07:33
109
转载 云计算的释义
介绍 云计算是一种计算模型，实现无处不在、便捷、可通过网络按需访问的可配置计算资源池（例如，网络、服务器、存储、应用程序、服务），这些资源可以快速调配，最小化管理开销或与...
2016-05-19 18:00:25
145
转载 JAVA获取本机IP地址
一、windows操作系统下主机IP地址try{System.out.println("本机的IP = " + InetAddress.getLocalHost());} catch (Unkn...
2016-05-18 21:21:39
76
转载 Hadoop作业调度机制
前几天身份证竟然过期了，为了“重新做人”晚上就得飞奔回大山东补办良民证，希望朝廷手下留情，不要把我抓起来，因为我要以黑户的身份爬火车了。。。 回归正题：话说hadoop是处理大数据的，一堆煤炭被分...
2016-05-12 14:17:29
135
转载 GitHub开源协议的解释
GitHub使我们可以共享代码，开源学习，你的代码共享出来需要选择一个协议，具体协议的解释参考下表： 下方表格中出现的用词的解释： 协议和版权信息(License and copyright...
2016-05-12 11:46:29
458
转载 Spring官网
一、spring的官方网址：http://spring.io/ 二、看到这个简洁清新的界面，导航很明确，进入projects whatever the infrastru...
2016-05-09 17:02:06
963
转载 JAVA真正理解实现多线程的两个方法（Thread Runnable）
Java中实现多线程可以通过以下两个方法：1．通过继承Thread类，重写Thread的run()方法，将线程运行的逻辑放在其中 2．通过实现Runnable接口，实例化Thread类...
2016-05-06 11:42:45
281
转载 JAVA集合类框图
上述类图中，实线边框的是实现类，比如ArrayList，LinkedList，HashMap等，折线边框的是抽象类，比如AbstractCollection，AbstractList，AbstractMa...
2016-05-05 18:56:34
118
转载 JAVA Object类
java.lang.Object java.lang包在使用的时候无需显示导入，编译时由编译器自动导入。 Object类是类层次结构的根，Java中所有的类从根本上都继承自这个类。...
2016-04-29 14:46:53
55
转载 抽象类和接口的区别
abstract class和interface是Java语言中对于抽象类定义进行支持的两种机制，正是由于这两种机制的存在，才赋予了Java强大的面向对象能力。 abstract class和interface之间在对于抽象类定...
2016-04-29 11:44:25
71
转载 JAVA 与 C++ 的区别
1．指针JAVA语言让编程者无法找到指针来直接访问内存无指针，并且增添了自动的内存管理功能，从而有效地防止了c／c++语言中指针操作失误，如野指针所造成的系统崩溃。但也不是说JAVA没有指针，虚拟机内部还是使用了指针，...
2016-04-28 16:44:35
66
转载 很棒的可视化分析展现-可口可乐
直接点击如下链接，即可查看展现效果：http://www.s-v.de/dataviz2007/很棒！包括动态的图形变化，使用不同的人物形象；还有你按住'D'键可以看到有趣的跳舞动作。都很cool！现在的BI...
2016-04-26 18:02:24
279
转载 工作小感
工作时间长了也有一些感悟，随笔写下来。公司的人儿啊你总是可以将公司里的人划分几个区域，不同区域的人总有不同的特征精疲力尽区：该区的同学早来晚归、埋头苦干，最后得到什么结果因人而异了，但不会太差 吊儿...
2016-04-26 16:22:37
63
转载 数据挖掘常见10大问题
Q1. Data Mining 和统计分析有什么不同？ 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或...
2016-04-26 15:58:59
161
转载 大数据系列分享第一期：《Hello Bigdata》
在公司最近在做关于大数据的系列分享，现在也拿出来分享给大家，以下是ppt。更多大数据技术分享，请关注微信公众号：ganhuo1024 ...
2016-04-01 17:17:46
81
转载 大数据时代买个披萨是什么体验
什么是大数据？某比萨店的电话铃响了，客服人员拿起电话。客服：XXX比萨店。您好，请问有什么需要我为您服务 ？顾客：你好，我想要一份……客服：先生，烦请先把您的会员卡号告诉我。顾客：16846146***。...
2016-03-30 16:08:10
1768
转载 五个故事了解大数据
你是否知道我们生活在什么样的信息世界？全球每天会有220万TB的新数据增加，而如今，90%的数据都是在过去的两年里创造出来的，这个比例还在不断上升。 大数据一词正是在这样的背景下产生，而大...
2016-03-30 10:57:50
216
转载 2015年游戏行业总结：IP是把双刃剑
2015年刚刚过去2个月，手游就将各种IP炒了个沸沸扬扬，各大厂商和大佬也纷纷表示，开始将IP作为自己的2015年的重要战略方针，并且花重金买下IP版权，准备大走IP游戏路线。IP年，在2015年到来了。 IP...
2016-03-25 17:09:32
143
转载 用TalkingData AARRR模型来分析游戏
TalkingData的AARRR模型给出了移动应用数据分析的通用方法论。本文以TalkingData AARRR模型为基础，结合移动游戏的行业特点，给出了移动游戏运营者在业务运营各阶段应当关注的关键数据指标。...
2016-03-25 16:39:13
429
转载 游戏分析指标之--LTV
SNS社交游戏营收能力是无非就是游戏“能吸引多少用户付费”和“能使付费用户付费多少”的综合体现，LTV就就是为了说明一款游戏用户从开始至结束所产生的价值进行评价的一个重要数据指标，其定位为新用户注册后续付费能力指标。以前在各种行...
2016-03-24 21:42:40
1469
转载 游戏分析指标之--DAU/MAU
社交游戏的分析指标大部分跟大型网游数据分析基本是一致的，只是在思考的角度上有所差距。今天就来探讨一下业界内一般比较肯定的指标：DAU/MAU。DAU：日活跃用户(Day Active User)，在当天登录过游戏的用户，...
2016-03-24 18:58:38
312
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人