hadoop基础了解

DingYuan101

于 2024-09-30 15:06:28 发布

阅读量733

点赞数 12

文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/YY20210219/article/details/142655682

版权

大数据的特征

    # 1. 体积大
   # 2. 种类多
   # 3. 价值密度低
   # 4. 速度快
   # 5. 质量高

数据体系架构

海量数据的存储
       1.1 HDFS
           特点:基于磁盘/硬盘，读写效率比较低，因为要对磁盘进行大量的IO操作
       1.2 Hbase
           特点:nosql，kv数据格式，支持随机读写
       1.3 kudu
           特点:支持毫秒级别的数据的新增，更新，删除操作

主从模式(中心模式)特点:一主多从
   主节点主要负责调度，统一调配
   从节点主要是负责干活
主备模式特点:一主一备/多备
   备选节点主要是负责接替主节点工作

hadoop架构

1. HDFS:主要用来存储数据
       1.1 namenode（NN）:用来管理数据，以及分配任务
       1.2 datanode（DN）:用来存储数据
       1.3 secondarynamenode（SNN）:辅助主节点进行元数据的管理
   2. Yarn:主要用来资源调度
       2.1 ResourceManager（RM）:用来接收用户请求，分配资源给NM
       2.2 NodeManager（NM）:用来执行用户的请求
   3. Mapreduce:用来数据计算
       3.1 map:用来拆分任务
       3.2 reduce:用来整合任何计算结果

hadoop架构三者关系：

1. HDFS和MR:Mr计算所需要的数据来源于HDFS，计算的结果要保存到HDFS中
2. MR和Yarn:Mr计算所需要的资源来源于Yarn的调度

hadoop服务器搭建

1. 单机
   2. 集群
   3. HA(高可用)
hadoop组件启动
   1. 启动HDFS和Yarn命令:start-all.sh
   2. 关闭HDFS和Yarn命令:stop-all.sh
   3. 开启历史服务器命令:mapred --daemon start historyserver
其中验证启动成与否：
   1. 输入jps查看java进程
   2. 访问浏览器页面
       2.1 访问hdfs:node1:9870
           # 主要作用: 查看hdfs中的数据，上传数据，下载数据
       2.2 访问yarn:node1::8088
           # 主要作用: 查看正在执行的任务的所需要的资源
       2.3 访问历史服务器:node1:19888
           # 主要作用: 查看已经结束的任务的资源使用情况，以及任务的执行状态(成功与否

2.4 myslq端口号 3306

2.5服务器默认的端口号： 80

3.杀死进程：

kill -9 进程号

4.hive 远程连接：

4.1 先启动 metastore 服务：nohup bin/hive --service metastore &

4.2 再启动 hiveserver2 服务：nohup bin/hive --service hiveserver2 &

4.3 查看是否成功：jps 是出现两个 run 进程

4.3 查看进程号： lsof -i:10000 注：10000 端口号

hdfs特点：

        1. 可以存储超大文件，只不过时效性比较差(因为有三副本机制)
2. 快速检查问题节点(心跳机制)，快速恢复数据(三副本机制)
        3. 扩展能力强
        4. 支持一次写入，多次读取，只支持追加，不支持随机修改
        5. 可以部署在廉价的机器上

HDFS写入流程：

        1. 客户端先将文件分块
        2. 客户端找NameNode询问是否有上传的权限(是否能上传，是否已经有一份)
        3. NameNode告诉客户端可以上传
        4. 客户端找NameNode询问上传到哪里
        5. NameNode根据机架感知原理/网络拓扑图找到离客户端最近的DataNode1，并
        将DataNode1的地址给到客户端
        6. 客户端拿到DataNode1地址，并跟DataNode1建立链接管道(管道一次传输64kb)，开始传输数据
        7. DataNode1拿到数据后，会快速复制一份到DataNode2和DataNode3，复制完成后返回ACK码(确认复制完成)
        8. 重复7操作，直到数据全部上传完成
        9. DataNode和NameNode保持心跳机制

HDFS的副本机制

        https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
        dfs.replication 3
        dfs.blocksize 134217728