- 博客(9)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Google分布式系统三大论文（三）MapReduce: Simplified Data Processing on Large Clusters
原文地址：https://blog.csdn.net/u010359965/article/details/49795213摘要MapReduce是一个编程模型和一个处理和生成大数据集的相关实现。用户指定一个map函数处理一个key-value对来生成一组中间key-value对；指定一个reduce函数合并所有和同一中间key值相联系的中间value值。许多现实世界中的任务以这个模型展现，...
2019-03-25 16:00:40
786
转载 Google分布式系统三大论文（二）Bigtable: A Distributed Storage System for Structured Data
原文地址：https://blog.csdn.net/u010359965/article/details/49795133摘要Bigtable是一个管理结构化数据的分布式存储系统，它被设计用来处理海量数据：分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中，包括Web索引、Google Earth、Google Finance。这些应用对Bigta...
2019-03-25 15:59:33
581
转载 Google 分布式系统三大论文（一）The Google File System
原文地址：https://blog.csdn.net/u010359965/article/details/49795047The Google File System中文版摘要我们设计并实现了Google文件系统，一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上，但是它依然了提供容错功能，为大量客户机提供了很高的总体性能。虽然与很多之前的分布...
2019-03-25 15:57:22
2064
原创 Hadoop集群环境搭建
一：置主机以下配置基于centOS71：修改主机的hostname为master修改 /etc/hostname 文件的内容为 master2: 修改网络配置1：将虚拟机的网路设置为NAT连接:2：进入系统后输入命令“vi /etc/sysconfig/network-scripts/ifcfg-ens33” (可能你的系统配置网络的文件名不叫ifcfg-ens33你可以进...
2019-03-23 23:06:07
173
原创 RocketMQ消费\生产消息的过程
这几天在看RocketMQ的知识，跟踪了下源码，弄清楚了MQ生产和消费消息的流程，这里记录下MQ消费消息的过程。1：RebalanceService线程构造PullRequest并将request放入pullRequestQueue,而PullRequest的具体信息来源于topicSubscribeInfoTable2:PullRequest放入pullRequestQueue后...
2019-03-14 12:28:07
2395
原创 集群的概念
以前经常听别人说部署集群的话至少需要3台机器，因为会存在选主的情况。但是有些项目的集群又不需3台可能两台就够了。这是为什么呢？RocketMQ的broker集群为什么可以只有两台节点？答：其实集群分不同的种类，具体的场景不同可能对集群节点数要求不同。比如RocketMQ的集群，你可以只部署两台broker,因为RocketMQ的集群中两个broker节点是对等的，并且两个节点之间不需要任何...
2019-03-13 22:54:26
2461
转载 redis的三种集群方式
原文地址：https://www.cnblogs.com/51life/p/10233340.htmlredis有三种集群方式：主从复制，哨兵模式和集群。1.主从复制主从复制原理：从服务器连接主服务器，发送SYNC命令； 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令； 主服务器BGSAVE执行完后，向所有从服务器发...
2019-03-13 22:08:48
712
转载 Java Socket重要参数讲解
原文地址:http://www.cnblogs.com/ggjucheng/archive/2012/01/06/2314679.htmlSocket参数定义在public interface SocketOptions中TCP_NODELAYSO_BINDADDRSO_REUSEADDRSO_LINGERSO_TIMEOUTSO_SNDBUF/SO_RCVBUFSO_KEEP...
2019-03-07 14:54:06
818
原创 如何处理GC日志文件过大的情况
Handling large log files produced by long running Java Applicationshttps://bugs.java.com/bugdatabase/view_bug.do?bug_id=6941923This RFE addresses the a problem faced by long running (one or mo...
2019-03-06 15:29:53
3426
空空如也
websocket 连接 HTTP状态码 500
2017-01-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人