- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop本地测试（学习笔记2）
Hadoop框架下 本地模式测试在测试之前确保你的虚拟机已成功安装好了 hadoop框架（在命令行输入 Hadoop version）如上显示就安装和配置完成进入到hadoop-3.1.3 文件夹下使用命令行操作创建一个字段文件夹和文档 来测试效果 mkdir wcinput进入创建好的 wcinput ，在该文件夹下创建一个 word.txt文件在 wcinput文件夹下创建创建 word.txt文档vim word.tax...
2022-03-26 00:01:18
1939
1
原创 Zookeeper（学习笔记7）
Zookeeper什么是Zookeeper Zookeeper是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时导致管理复杂性。Zookeeper功能（1）存储数据（2）监听/推送Zookeeper
2022-03-25 21:47:03
608
原创 时间框架配置与理论（学习笔记6）
集群时间同步102 0800103 0800104 0800为了确保集群在工作的时候，时间统一，在规定时间集群同时工作的效果在设置同步时间之前，有两个点需要注意1.如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准2.如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。在了解了上述的注意事项后，我们针对内网进行操作，就如同hdfs 、 yarn 一样 我们需要把主要同步
2022-03-25 21:36:04
964
原创 集群配置（学习笔记5）
集群配置在前几章节的配置完成后，102 103 104服务器都具有了相同的内容框架和配置，能够通过手动免密进行访问，但是不知道有没有发现，他们相互之间还会没有联系的。本章节我们就需要连接各个服务器集群部署规划NameNode 和 SecondaryNameNode 不要安装在同一台服务器 ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在 同一台机器上。配置文件H...
2022-03-25 21:23:41
1166
原创 脚本分发（学习笔记4）
完全分布式运行模式（开发重点） 分析： 1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称）2）安装 JDK3）配置环境变量4）安装 Hadoop5）配置环境变量6）配置集群7）单点启动8）配置 ssh9）群起并测试集群编写集群分发脚本 xsync1）scp（secure copy）安全拷贝（1）scp 定义scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法scp -r...
2022-03-25 20:44:54
2320
原创 大数据技术——Hadoop（学习笔记1）
大数据技术——HadoopHadoop概述 Hadoop 运行环境搭建1.Hadoop概述1.1Hodoop是什么？1）Hadoop 是一个由Apache基金会所开发的分布式系统基础框架。2）主要功能是处理海量数据的存储和海量数据的分析计算问题。3）在广义上来说，Hadoop并不是单指一个技术和工具，它代表一个更广泛的概念——Hadoop生态圈。1.2Hadoop发展历史（了解）创始人：Doug CuttingHadoop的大数据思想之源是来自Google在.
2022-03-25 12:47:56
2216
大数据技术_Hadoop
2022-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人