![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据环境搭建
文章平均质量分 82
刘墨苏
开放、平等、协作、快速和分享,这正是互联网生命力之所在。本科期间曾获得全国大学生嵌入式芯片与系统设计竞赛国一等7项省级以上获奖。
展开
-
集群机器hadoop的安装与配置
目录一、Hadoop概念二、Hadoop的安装2.1 安装2.2配置环境变量2.3测试单机hadoop三、Hadoop集群配置3.1配置hadoop-env.sh3.2配置core-site.xml3.3配置yarn-site.xml3.4 编辑`slaves`和`master`3.5配置hdfs-site.xml3.6配置mapred-ste.xml3.7分发给从机3.8主机namenode格式化3.9 hadoop启动四、网页一、Hadoop概念Block一般128MB一个;元数据:一个表,对原创 2022-05-29 17:00:28 · 648 阅读 · 3 评论 -
集群机器安装和配置ZooKeeper
目录1 配置hosts2 安装3 配置zookeeper4 配置zookeeper,加入环境变量5 启动zookeeper服务,一主两跟随Apache ZooKeeper是Hadoop与Hbase的重要组件,是一个为分布式应用提供一致性协调服务的软件。ZooKeeper提供配置维护、域名服务、分布式同步、组服务等功能,其目标是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。需要提醒的是,ZooKeeper是用Java语言编写的,运行在Java环境上,因此在部署的节点原创 2022-05-23 18:43:55 · 900 阅读 · 0 评论 -
集群机器安装JDK和配置java环境
目录1 安装JDK2 添加java到环境变量3 编个Java程序试一试4 分发给其他机器在这篇文章中我们将给集群中的机器安装JDK,采取在master主机上安装,再分发到其他机器上方式,之后我们再把java添加到环境变量中去。开始这步之前确保你已经完成了以下配置:虚拟机中集群的基本网络配置集群机器配置时间同步和使用ssh密钥互连1 安装JDKmkdir -p /usr/java # 新建存放jdk的文件夹mkdir -p /opt/soft # 新建上传软件文件夹然后准备好的jdk原创 2022-05-17 08:50:28 · 638 阅读 · 0 评论 -
集群机器配置时间同步和使用ssh密钥互连
目录一、集群机器时间同步1 安装NTP2 配置hosts3 从机时间同步二、集群主机使用ssh密钥互连1 生成公钥-私钥2 复制私钥为批准的私钥3 公钥合成在这篇文章中我们将给集群中的机器安装ntp,以master主机为主服务器,同步其他机器的时间,然后使用ssh密钥安装每台机器都可以无障碍互连。开始这步之前确保你已经完成了以下配置:虚拟机中集群的基本网络配置一、集群机器时间同步集群中每台机器的时间都是必须要一致的,在集群中找一台机器作为时间服务器,这里把master(192.168.222.原创 2022-05-17 00:24:09 · 1244 阅读 · 0 评论 -
虚拟机中集群的基本网络配置
环境说明:虚拟机软件为Workstation 15 Pro,镜像为CentOS-7-x86_64-Minimal-1908.iso。修改集群主机名并连接网络。原创 2022-05-16 23:17:04 · 715 阅读 · 0 评论