基础知识:
大数据的关键技术(两大核心技术):
1:分布式存储
2:分布式处理
电典型的计算模式:
1:批处理计算
2:流计算
3:图计算
4:查询分析计算
三种云服务:
1:IaaS,基础设施即服务,面向网络架构师
2:PaaS,平台即服务,面向应用开发者
3:SaaS,软件即服务,面向用户
物联网的关键技术:
1:识别技术
2:感知技术
大数据处理架构Hadoop
Hadoop是Java语言开发的,但是它可以支持多种编程语言,比如C,C++,Java,Python等。
Hadoop量大核心——HDFS+MapReduce
Hadoop的特点:
- Hadoop具有很高的可靠性
- Hadoop具有很高的效率
- Hadoop具有很高的可扩展性
- Hadoop成本低
Hadoop版本:
Hadoop1.0量大核心:
Hadoop2.0量大核心:
Hadoop项目结构:
Hadoop的安装和使用都是在Linux系统下进行的。
由于本机使用的是Windows系统,所以需要安装一个虚拟机,在虚拟机里面安装一个Linux进行Hadoop的安装和配置。Linux的安装与配置请看相关博客。
Hadoop基本安装配置主要包括以下几个步骤: - 创建Hadoop用户
为hadoop用户设置密码,密码为hadoop。
把hadoop用户的权限修改为管理员。
- SSH登录权限设置
使用命令sudo apt-get install openssh-server进行安装SSH。大致的安装过程如下图所示: