40.大数据之旅——java分布式项目01

最新推荐文章于 2022-06-17 14:02:33 发布

零零天

最新推荐文章于 2022-06-17 14:02:33 发布

阅读量448

点赞数

分类专栏：大数据学习之旅文章标签：大数据分布式 java

本文链接：https://blog.csdn.net/qq_39188039/article/details/86589136

版权

本文介绍了大型互联网企业在面对高并发、海量数据挑战时的技术选择，如分布式集群管理和高可用性设计。同时，通过一个Java分布式项目的实践，讲解了Maven的使用、jQuery EasyUI布局和菜单树的实现，为大数据时代的应用开发提供基础。

摘要由CSDN通过智能技术生成

大型互联网企业及其架构变迁历程

目前，全球有一半的人口在使用互联网，互联网发展最快，发展最好的国家是中国，中国人口多，用户基数大。但是，也正是这个因素，促使中国的互联网技术更新非常迅速，发展非常快。中国在近20年的时间里，涌现了大量的互联网企业，其中具有代表性的企业，比如腾讯，百度，淘宝，京东等，国外企业，Google。
互联网企业也面临的巨大的挑战
比如：
面对用户的高并发访问，尤其像双11促销活动，秒杀活动这种时刻，数据读写丢失、服务器故障、操作延迟甚至是服务器宕机都是经常遇到的问题。
面对海量数据的存贮和管理，比如Google，在全球有36个数据中心，超过100万台的服务器，存储了数百亿的URL及PB级别的用户数据，每天要处理超过20PB的数据（1PB=1024TB，1TB=1024GB)。facebook每周上传的照片数量近10亿。如何去管理如此海量的数据?如果从这些海量数据里，快速响应出用户需要的数据?这个需要极为复杂的分布式文件管理系统以及最优秀的算法来保证。
要考虑硬件成本问题。比如数据中心的选址：当地的电力是否廉价，是否靠近湖泊（因为设置冷却需要靠大量的水源），用地广阔，和其他数据中心的距离（涉及到数据的交互和传输）
如何实现高可用，7*24小时不间断的工作。第一代码要健壮，第二要做好服务器的集群管理，比如有一台机器坏掉之后，必须马上又有一台机器拉起来，顶起其工作，第三，要做好容灾准备，比如断电的问题，Google的服务器，每台服务器都有一颗电池，确保断电后可持续供电。
如何保证系统安全性，2010年百度域名被黑客劫持导致不能访问，带来不可估量的经济损失。

互联网企业的特点：

技术新，技术更新快
采用分布式集群管理
能够应对高并发访问
2016年，Google每分钟搜索380万次，QQ,最大在线人数超过2亿多，淘宝2015年双11活动刚开始的一份中之内，就涌入了1000万的独立用户，每秒处理的交易操作，峰值的时候，达到千万笔交易数量。
是高可用的
系统7X24小时不间断运行
能够存储和管理海量数据
需要存储、管理海量数据，需要使用大量服务器。facebook每周上传的照片数量近10亿，百度收录的网页数量数百亿，Google有近百万台服务器为全球用户提供服务。
业务特殊
网站访问特点遵循二八定律：80%的业务访问集中在20%的数据上。即那些热门商品或热门词汇上。
在系统安全
互联网企业系统部署架构变迁图：
阶段一：

项目说明

在这里插入图片描述

Maven的继承和聚合

在这里插入图片描述

Maven工程环境搭建

在这里插入图片描述

jQuery EasyUI介绍

在这里插入图片描述

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>Insert title here</title>
<link rel="stylesheet" type="text/css" href="/js/jquery-easyui-1.4.1/themes/default/easyui.css" />
<link rel="stylesheet" type="text/css" href="/js/jquery-easyui-1.4.1/themes/icon.css" />
<script type="text/javascript" src="/js/jquery-easyui-1.4.1/jquery.min.js"></script>
<script type="text/javascript" src="/js/jquery-easyui-1.4.1/jquery.easyui.min.js"></script>
<script type="text/javascript" src="/js/jquery-easyui-1.4.1/locale/easyui-lang-zh_CN.js"></script>

EasyUI-layout 布局

在这里插入图片描述

EasyUI-tree 菜单树

最低0.47元/天解锁文章

零零天

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
40.大数据之旅——java分布式项目01

大型互联网企业及其架构变迁历程目前，全球有一半的人口在使用互联网，互联网发展最快，发展最好的国家是中国，中国人口多，用户基数大。但是，也正是这个因素，促使中国的互联网技术更新非常迅速，发展非常快。中国在近20年的时间里，涌现了大量的互联网企业，其中具有代表性的企业，比如腾讯，百度，淘宝，京东等，国外企业，Google。互联网企业也面临的巨大的挑战比如：面对用户的高并发访问，尤其像双11促...
复制链接

扫一扫

专栏目录