- 博客(10)
- 资源 (18)
- 收藏
- 关注
转载 数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器
随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了了宕机造成的损失。通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机
2015-07-31 12:56:19 5335
转载 Hadoop集群系列(目录)
下面是Hadoop集群系列的目录安排,按照一星期发布一期的原则进行。希望大家的关注。 目录安排: 1)Hadoop集群_第1期_CentOS安装配置_V1.0 2)Hadoop集群_第2期_机器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安装配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0
2015-07-27 12:56:26 5385
转载 Hadoop集群(第10期)_MySQL关系数据库
1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/ 1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一步:双击"msi"安装文件,出现如图1.1
2015-07-27 12:54:26 5556
转载 Hadoop集群(第8期)_HDFS初探之旅
1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理
2015-07-27 12:54:07 5356
转载 Hadoop集群(第7期)_Eclipse开发环境设置
1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Window
2015-07-27 12:46:11 5753
转载 Hadoop集群(第6期)_WordCount运行详解
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是Job
2015-07-27 12:41:33 5207
转载 Hadoop集群(第9期)_MapReduce初级案例
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示: 1)file1:
2015-07-27 11:06:22 5498
转载 Hadoop、Spark、HBase与Redis的适用性见解
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很“狭义”的Hadoop,即在
2015-07-27 09:34:48 5526
转载 构建高并发高可用的电商平台架构实践
本文转载自:http://blog.csdn.net/yangbutao/article/details/12242441 作者:杨步涛 关注分布式架构、大数据、搜索、开源技术 QQ:306591368 技术Blog:http://blog.csdn.net/yangbutao 一、 设计理念 1. 空间换时间
2015-07-16 14:44:38 5947
转载 双机高可用,负载均衡,MySQL(读写分离、主从自动切换)架构设计
前几天网友来信说帮忙实现这样一个架构:只有两台机器,需要实现其中一台死机之后另一台能接管这台机器的服务,并且在两台机器正常服务时,两台机器都能用上。于是设计了如下的架构。 架构简介 此架构主要是由keepalived实现双机高可用,维护了一个外网VIP,一个内网VIP。正常情况时,外网VIP和内网VIP都绑定在server1服务器,web请求发送到server1的Ngi
2015-07-16 12:00:11 5589
商城拍卖活动后端源代码java
2022-12-20
图片文件转换工具 v 1.4
2022-12-20
B+树聚簇索引 精讲开发培训
2022-12-19
mongdb 开发规范精讲 精华部分
2022-12-19
rocketmq 开发规范 精讲 精华部分
2022-12-19
redis开发规范 精讲 精华部分
2022-12-19
企业 技术岗能力模型-开发类
2022-12-19
东华大学 组织行为学 期末大作业 答案
2022-06-07
spring-cloud-project.zip
2020-06-11
Mybatis_BuildTable_V0.2
2016-06-25
新闻发布系统
2013-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人