![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
晓晓很可爱
这个人很懒什么都没有留下
展开
-
SSH免密配置-集群中的免密配置
1.生成密钥ssh-keygen2.生成免密链接ssh-copy-id + 要配置的主机名例如:ssh-copy-id node-1注意:配置免密配置要和自己也免密配对一下3.远程链接sssh + 用户名4. 远程复制scp 本地文件+主机名:路径...原创 2020-12-02 22:39:29 · 131 阅读 · 0 评论 -
hive3.1.2的简介,基本语法以及hive的安装
0.hive简介:hive是基于Hadoop的一个数据仓库工具,并不是一个数据库,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析原创 2020-10-12 20:49:15 · 1466 阅读 · 0 评论 -
Yarn的简介以及安装
Hadoop---Yarn资源调度管理器1.Yarn简介 YARN是一个运算资源(cpu 内存 网络 Io....)管理系统, 主要负责集群资源的管理和调度监控任务进度 , 如果要将程序运行在yarn上需要两个组件 , 客户端和yarn这两个组件在编程的过程中非常复杂2.Yarn 的安装2.1 在hadoop_home中的etc下修改yarn-site.xml文件,具体目录为:/opt/apps/hadoop-3.1.1/etc/hadoop/yarn-site.xml,将一下...原创 2020-09-26 21:42:08 · 578 阅读 · 0 评论 -
linux的网络配置,jdk,mysql和hadoop的安装教程,hdfs的shell客户端的操作命令
linux的网络配置以及环境配置---(Day01)1.centos7 的网络配置(我们设置的虚拟网卡可以比作是windows和linux之间的一个交换机的网络设置)1.1 打开vmware虚拟机,在虚拟机中点击编辑下的虚拟网卡设置,如图1.2 点击之后设置子网(子网指的就是网段),子网掩码,然后点击NAT设置1.3 设置NAT ,这里设置的NAT指的就是设置虚拟机中交换机的ip地址 (这里我们的虚拟机这一部分就设置好了)2.windows中的网络配置2.1 先打开...原创 2020-09-16 20:58:01 · 445 阅读 · 0 评论