第一章 大数据发展数据与鲲鹏大数据

大数据的趋势分为两部分,大数据时代的机遇与挑战和华为鲲鹏的解决方案

---

目录

前言

一、大数据时代？

1.大数据处理与传统数据处理的差异

2.大数据的应用领域

3.大数据的计算任务

4.企业所面临的挑战和机遇

二、华为鲲鹏解决方案

1.引入库

2.读入数据

总结

---

前言

前言：大数据的趋势分为两部分,大数据时代的机遇与挑战和华为鲲鹏的解决方案

目标：掌握什么是大数据，大数据的4v特性，大数据时代的需求和挑战，大数据的趋势和应用，了解华为鲲鹏解决方案，了解华为大数据解决方案

一、大数据时代？

大数据是指利用常用软件工具捕获，管理和处理数据所耗时间超过可容忍时间的数据集（体量巨大Volume,处理速度快Velocity，类型繁多Variety，价值密度低Value） 

1.大数据处理与传统数据处理的差异

2.大数据的应用领域

金融，教育，政府公共安全，交通规划，清洁能源

3.大数据的计算任务

1.IO密集型任务

涉及到网络，磁盘，内存IO的任务是O密集型任务

特点：CPU消耗很少，任务的大部分时间都在等待IO操作的完成（IO速度远远低于CPU和内存的速度）人物越多，CPU效率越高，但也有一个限度。99%时间都花在了IO操作上，在CPU上时间很少，需提升网络传输效率和读写效率

2.计算密集型任务

特点：进行大量的计算，消耗CPU资源。需提高代码运行效率

3.数据密集型任务

特点：

大量独立的数据分析处理作业可以分布在松耦合的计算机集群系统的不同节点上运行

高度密集的海量数据IO吞吐需求

大部分数据密集型应用都有个数据流驱动的流程

三类应用场景：1.日志分析2.软件即服务应用3.大型企业的商务智能应用

4.大数据应用的主要计算模式

4.企业所面临的挑战和机遇

4.1挑战

挑战一:业务部门无清晰的大数据需求

挑战二：企业内部数据孤岛严重

挑战三：数据可用性低，质量差

挑战四：数据相关管理技术和架构

挑战五：数据安全问题

挑战六：大数据人才缺乏

挑战七：数据开放与隐私的权衡

4.2机遇

机遇一：大数据挖掘成为商业分析的核心

机遇二：大数据成为信息技术应用的支撑点

机遇三：大数据成为信息长夜持续增长的新引擎

二、华为鲲鹏解决方案

1.解决方案

2.解决方案优势

高安全性：

1.服务器及大数据平台自主可控

2.芯片级数据加密，数据不失密

高性能：

1.比同档通用服务器性能提升30%

2.超强算力，高并发应用场景优化

3.支持5000+节点大数据集群

---

高开发

1.兼容ARM生态链，支持主流硬软件；

2.建立Openlab,提供软件开发，应用移植，兼容认证等服务

3.华为云MRS服务的优势

高性能

易运维

高安全低成本

4.华为云MRS服务应用场景

 

结论

 《TaiShan 200服务器加速引擎开发者指 南》:https://support.huawei.com/enterprise/zh/doc/EDOC1100098461? idPath=7919749%7C9856522%7C9856629%7C23025673
● openEuler开源社区: https://openeuler.org
● 鲲鹏社区:https://www.huaweicloud.com/kunpeng/
● MRS使用指南:https://support.huaweicloud.com/usermanual-mrs/mrs_01_0360.html
● 华为云官方链接:https://www.huaweicloud.com/