2020-12-2

Hadoop

（1）概念：
Hadoop是Apache软件基金会旗下的一个分布式计算平台，为用户提供了系统底层细节透明的开源分部式基础架构。Hadoop被公认为行业大数据标准开源软件
Hadoop是基于Java语言开发的，具有很好的跨平台性。
（2）Hadoop的核心是分布式文件系统HDFS和MapReduce
（3）Hadoop的特点
高可靠性、高效性、高可扩展性、成本低、运行在Linux平台上、支持多种编程语言
（4）Hadoop的三大核心技术
a：HDFS（分布式文件系统、可以运行在廉价商用服务器集群上、低成本高可靠性、很高的吞吐率）
b：Hbase（提供高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库）
c：MapReduce（分布式、并行程序）

对应的google三大技术是：GFS Bigtable MapReduce
2.SSH登录
对于Hadoop的伪分布式和全分布而言，Hadop名称节点（NameNode）需要启动集群中所有机器的Hadoop守护程序，这个过程可以通过SSH登录来实现。（Hadoop没有提供SSH输入密码登录的形式，为了顺利登录每台机器，需要将所有机器配置为名称节点可以无密码登录它们）
3.Hadoop安装方式
（1）单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试
（2）伪分布式模式：Hadoop可以在单节点以上为分布式的方式运行，hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的式HDFS中的文件
（3）分布式模式：使用多个节点构成集群环境来运行Hadoop