Google分布式系统三大论文(三)MapReduce: Simplified Data Processing on Large Clusters

原文地址:https://blog.csdn.net/u010359965/article/details/49795213 摘要 MapReduce是一个编程模型和一个处理和生成大数据集的相关实现。用户指定一个map函数处理一个key-value对来生成一组中间key-value对;指定一个r...

2019-03-25 16:00:40

阅读数 31

评论数 0

Google分布式系统三大论文(二)Bigtable: A Distributed Storage System for Structured Data

原文地址:https://blog.csdn.net/u010359965/article/details/49795133 摘要 Bigtable是一个管理结构化数据的分布式存储系统,它被设计用来处理海量数据:分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigta...

2019-03-25 15:59:33

阅读数 47

评论数 0

Google 分布式系统三大论文(一)The Google File System

原文地址:https://blog.csdn.net/u010359965/article/details/49795047 The Google File System中文版 摘要 我们设计并实现了Google文件系统,一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的...

2019-03-25 15:57:22

阅读数 143

评论数 0

Hadoop集群环境搭建

一:置主机 以下配置基于centOS7 1:修改主机的hostname为master 修改 /etc/hostname 文件的内容为 master 2: 修改网络配置 1:将虚拟机的网路设置为NAT连接: 2:进入系统后输入命令“vi /etc/sysconfig/network-sc...

2019-03-23 23:06:07

阅读数 26

评论数 0

RocketMQ消费\生产消息的过程

这几天在看RocketMQ的知识,跟踪了下源码,弄清楚了MQ生产和消费消息的流程,这里记录下MQ消费消息的过程。 1:RebalanceService线程构造PullRequest并将request放入pullRequestQueue,而PullRequest的具体信息来源于topicSubsc...

2019-03-14 12:28:07

阅读数 71

评论数 0

集群的概念

以前经常听别人说部署集群的话至少需要3台机器,因为会存在选主的情况。但是有些项目的集群又不需3台可能两台就够了。这是为什么呢? RocketMQ的broker集群为什么可以只有两台节点? 答:其实集群分不同的种类,具体的场景不同可能对集群节点数要求不同。比如RocketMQ的集群,你可以只部署...

2019-03-13 22:54:26

阅读数 18

评论数 0

redis的三种集群方式

原文地址:https://www.cnblogs.com/51life/p/10233340.html redis有三种集群方式:主从复制,哨兵模式和集群。 1.主从复制 主从复制原理: 从服务器连接主服务器,发送SYNC命令; 主服务器接收到SYNC命名后,开始执行BGSAVE命令生成...

2019-03-13 22:08:48

阅读数 18

评论数 0

Java Socket重要参数讲解

原文地址:http://www.cnblogs.com/ggjucheng/archive/2012/01/06/2314679.html Socket参数定义在public interface SocketOptions中 TCP_NODELAY SO_BINDADDR SO_REUSEAD...

2019-03-07 14:54:06

阅读数 40

评论数 0

如何处理GC日志文件过大的情况

Handling large log files produced by long running Java Applications https://bugs.java.com/bugdatabase/view_bug.do?bug_id=6941923 This RFE addres...

2019-03-06 15:29:53

阅读数 54

评论数 0

Minor GC和Full GC触发条件

原文地址:https://blog.csdn.net/shi2huang/article/details/80067608 在复制原文作者内容前先对Full GC条件做一个补充。 执行jmap histo命令也可能会出发Full GC(Heap Inspection Initiated GC)...

2019-02-20 17:04:45

阅读数 33

评论数 0

使用NMT分析你的java进程到底用了多少内存?

我们分析java程序性能的时候可能会关注我们的进程到底用了多少内存?哪些地方分别用了多少内存呢? jdk提供了一个jcmd的命令工具可以让我们很容易地查询java进程的Native内存使用。(关于Native内存是什么读者可以参考:https://www.ibm.com/developerwor...

2019-01-17 16:14:39

阅读数 104

评论数 0

debug jdk的前端编译器javac

javac主要的功能是将.java文件编译成.class文件,在这个过程中包含3个主要的处理分别为,解析与填充符号表,注解处理,分析与生成字节码。今天主要介绍如何在eclipse中debug javac的源码。: 1:首先我们需要下载javac的源码,我这里下载的是openJdk8u:http:...

2019-01-13 13:45:34

阅读数 70

评论数 0

How to Handle Java Finalization's Memory-Retention Issues

原文地址:http://www.devx.com/Java/Article/30192 Finalization allows you to perform postmortem cleanup on Java objects, but it can delay the reclamation ...

2019-01-11 15:28:56

阅读数 27

评论数 0

JVM各种内存溢出是否产生dump

原文地址:https://blog.csdn.net/stevendbaguo/article/details/51366181 对于java的内存溢出,如果配置-XX:+HeapDumpOnOutOfMemoryError,很明确的知道堆内存溢出时会生成dump文件。但永久代内存溢出不明确是否...

2019-01-10 22:05:14

阅读数 55

评论数 0

Efficient data transfer through zero copy

原文地址:https://developer.ibm.com/articles/j-zerocopy/ Many Web applications serve a significant amount of static content, which amounts to reading dat...

2019-01-09 17:23:40

阅读数 60

评论数 0

A recap of native memory

原文地址:https://www.ibm.com/developerworks/library/j-nativememory-linux/index.html The Java heap, where every Java object is allocated, is the area of ...

2019-01-09 17:22:25

阅读数 124

评论数 0

JVM的Heap Memory和Native Memory

原文地址:https://blog.csdn.net/u013721793/article/details/51204001 JVM管理的内存可以总体划分为两部分:Heap Memory和Native Memory。前者我们比较熟悉,是供Java应用程序使用的;后者也称为C-Heap,是供JVM...

2019-01-09 15:18:36

阅读数 48

评论数 0

Spring启动步骤

经过无数次debug Spring源码,对spring整体启动过程有了大致了解。因为spring体系太过复杂,我也没用能力把spring讲的面面俱到并且没用错误。要想掌握spring的细节,还需要自己去debug源码。spring的启动方式很很多比如通过springboot配置去启动,或者通过Cl...

2019-01-02 16:56:19

阅读数 49

评论数 0

对CAP的理解

本文是对http://book.mixu.net/distsys/ebook.html这篇文章中关于CAP理论的总结。 CAP: Consistency: all nodes see the same data at the same time. 对于同一个数据的多个副本,在任何时候副本数据是一...

2018-12-11 16:32:23

阅读数 31

评论数 0

C为什么不能跨平台

原文地址:http://www.cnblogs.com/yaoxiaowen/p/7470460.html 如果大家能对我的文章推荐一下,关注一下本人博客,那就更开心了,我今后也会更多的写一些计算机系统/原理类的文章,以飨各位读者。再次谢谢。前段时间看了 周志明的那本 《深入理解java虚拟机》...

2018-11-26 15:36:15

阅读数 86

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭