![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术——Hadoop
文章平均质量分 70
RomanticRick
这个作者很懒,什么都没留下…
展开
-
Hadoop本地测试(学习笔记2)
Hadoop框架下 本地模式测试在测试之前确保你的虚拟机已成功安装好了 hadoop框架(在命令行输入 Hadoop version)如上显示就安装和配置完成进入到hadoop-3.1.3 文件夹下使用命令行操作创建一个字段文件夹和文档 来测试效果 mkdir wcinput进入创建好的 wcinput ,在该文件夹下创建一个 word.txt文件在 wcinput文件夹下创建创建 word.txt文档vim word.tax...原创 2022-03-26 00:01:18 · 1947 阅读 · 1 评论 -
时间框架配置与理论(学习笔记6)
集群时间同步102 0800103 0800104 0800为了确保集群在工作的时候,时间统一,在规定时间集群同时工作的效果在设置同步时间之前,有两个点需要注意1.如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准2.如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。在了解了上述的注意事项后,我们针对内网进行操作,就如同hdfs 、 yarn 一样 我们需要把主要同步原创 2022-03-25 21:36:04 · 967 阅读 · 0 评论 -
集群配置(学习笔记5)
集群配置在前几章节的配置完成后,102 103 104服务器都具有了相同的内容框架和配置,能够通过手动免密进行访问,但是不知道有没有发现,他们相互之间还会没有联系的。本章节我们就需要连接各个服务器集群部署规划NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在 同一台机器上。配置文件H...原创 2022-03-25 21:23:41 · 1173 阅读 · 0 评论 -
脚本分发(学习笔记4)
完全分布式运行模式(开发重点) 分析: 1)准备 3 台客户机(关闭防火墙、静态 IP、主机名称)2)安装 JDK3)配置环境变量4)安装 Hadoop5)配置环境变量6)配置集群7)单点启动8)配置 ssh9)群起并测试集群编写集群分发脚本 xsync1)scp(secure copy)安全拷贝(1)scp 定义scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)(2)基本语法scp -r...原创 2022-03-25 20:44:54 · 2327 阅读 · 0 评论 -
SSH无密登录配置(学习笔记3)
SSH 无密登录配置在home目录下 ls -al显示隐藏文件进入 .ssh代码执行原创 2022-03-25 20:37:57 · 936 阅读 · 0 评论 -
大数据技术——Hadoop(学习笔记1)
大数据技术——HadoopHadoop概述 Hadoop 运行环境搭建1.Hadoop概述1.1Hodoop是什么?1)Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。2)主要功能是处理海量数据的存储和海量数据的分析计算问题。3)在广义上来说,Hadoop并不是单指一个技术和工具,它代表一个更广泛的概念——Hadoop生态圈。1.2Hadoop发展历史(了解)创始人:Doug CuttingHadoop的大数据思想之源是来自Google在.原创 2022-03-25 12:47:56 · 2229 阅读 · 0 评论