大数据与云计算笔记

最新推荐文章于 2022-06-29 11:30:00 发布
最新推荐文章于 2022-06-29 11:30:00 发布
阅读量398 收藏
点赞数
文章标签： 大数据 hadoop centos hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GordonJ/article/details/105976127
版权
本文档详细记录了在Centos系统中安装配置Hadoop的大致过程，包括Centos的安装、网络配置、Xshell设置、Zookeeper和Hadoop的安装配置等步骤，确保了大数据云计算环境的搭建。
摘要由CSDN通过智能技术生成

基于VMware和Centos的大数据与云计算学习

1.Centos安装

centos ISO映像下载：link.
<使用VMwareWorkstation平台安装>

①创建新的虚拟机
在这里插入图片描述
②选择虚拟机硬件兼容性
默认即可
默认即可

③加载linux系统ISO镜像
在这里插入图片描述
④虚拟机命名并定义储存位置
在这里插入图片描述
⑤自定义虚拟机配置
处理器配置（按需配置，下同）：
在这里插入图片描述
内存配置：
在这里插入图片描述
网络配置：选择桥接模式即可
在这里插入图片描述
I/O控制器选择默认：
在这里插入图片描述
硬盘类型选择默认：
在这里插入图片描述
在这里插入图片描述
硬盘容量配置（按需分配）：
在这里插入图片描述
⑥安装设置，开启安装
在这里插入图片描述
在这里插入图片描述
点击完成，开始安装

⑦安装
在这里插入图片描述
在这里插入图片描述
正在安装

⑧选择系统语言
在这里插入图片描述
⑨选择预安装软件（按需选择）
在这里插入图片描述
在这里插入图片描述
如果需要桌面环境，请选择安装GNOME桌面
（此处我并未选择）
在这里插入图片描述
⑩配置分区
在这里插入图片描述
在这里插入图片描述
默认自动分配即可

⑪开始安装
在这里插入图片描述
在这里插入图片描述
设置root密码
在这里插入图片描述
安装中
在这里插入图片描述
⑫安装完成，重启
在这里插入图片描述
⑬进入系统
在这里插入图片描述
由于我前面安装时，选择的最小安装，所以并没有桌面环境
localhost login：root
password:123456（安装时设置的）

2.网络的基本配置

①可能遇到的问题

⑴虚拟机内Linux与宿主机无法连通
在这里插入图片描述
⑵虚拟机与Linux外网无法连通
在这里插入图片描述
⑶虚拟机与Linux其他节点无法连通
在这里插入图片描述

②网络配置

⑴查看一下系统IP地址
此处可以看见系统并未设置IP地址
在这里插入图片描述
⑵打开虚拟网络编辑器进行设置
在这里插入图片描述
在这里插入图片描述
选择桥接模式，并选择宿主机的上网网卡
在这里插入图片描述
⑶为系统配置固定静态IP
编辑虚拟机网卡设置，使用命令：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改的内容如图所示：
在这里插入图片描述
保存并退出，重启网络，使用命令：

systemctl restart network.service

大功告成！
此时，虚拟机既可以ping通宿主机，也可以ping通其他节点
在这里插入图片描述
在这里插入图片描述

3.Xshell的设置

①打开Xshell，新建会话
在这里插入图片描述
②填写会话名称和主机IP
在这里插入图片描述
③点击用户身份验证
设置用户名为root，密码为前面设置的密码，设置完成后点击确定，连接。
在这里插入图片描述

4.主机的基本配置

5.zookeeper的安装配置

①使用vi编辑器，编辑hosts文件
指令

vi /etc/hosts

在原来的文件中添加如下语句

192.168.92.128 master master.root
192.168.92.128 slave1 slave1.root
192.168.92.128 slave2 slave2.root

②将Zookeeper从电脑中传入虚拟机，按照如下步骤
在这里插入图片描述
在这里插入图片描述
③进入zookeeper安装目录，并解压文件
进入目标目录

cd /usr/local/soft

解压文件

tar -zxvf zookeeper-3.4.10.tar.gz

解压后会出现如图所示文件
在这里插入图片描述
④配置zookeeper
进入conf文件夹

cd /usr/local/soft/zookeeper-3.4.10/conf

将zoo_sample.cfg复制并更名为zoo.cfg

scp zoo_sample.cfg zoo.cfg

在这里插入图片描述
⑤用vi编辑器打开配置文件zoo.cfg，修改参数

vi zoo.cfg

将参数修改为如图所示
在这里插入图片描述
⑥添加zkdata和zkdatalog文件夹

cd /usr/local/soft/zookeeper-3.4.10/
mkdir zkdata
mkdir zkdatalog

创建好后会出现如图所示的两个文件夹
在这里插入图片描述
⑦进入zkdata，创建文件myid
用于表示是几号服务器，master中为1

cd zkdata
vi myid

在这里插入图片描述
在这里插入图片描述
⑧将zookeeper远程复制至两个子节点并分别修改myid

scp -r /usr/local/soft/zookeeper-3.4.10 root@slave1:/usr/local/soft/
scp -r /usr/local/soft/zookeeper-3.4.10 root@slave2:/usr/local/soft/

slave1中改为2
slave2中改为3

⑨配置zookeeper环境变量（三台虚拟机都要配置）
进入配置文件

vi /etc/profile

添加如下语句

export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin

保存后退出,重新运行环境

source /etc/profile

⑩启动zookeeper
每个节点（三个都要）都启动zookeeper脚本服务

cd /usr/local/soft/zookeeper-3.4.10
bin/zkServer.sh start
bin/zkServer.sh status

6.hadoop的安装配置

①传入hadoop文件

在这里插入图片描述

②解压文件

进入目标目录，解压文件

cd /usr/local/soft
tar -zxvf hadoop-2.7.3.tar.gz

解压完成后如图所示
在这里插入图片描述

③配置hadoop环境变量

vi /etc/profile

添加如下语句

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

保存后退出,重新运行环境

source /etc/profile

④修改hadoop配置文件

进入hadoop文件夹

cd /usr/local/soft/hadoop-2.7.3/etc/hadoop

下图所示的是我们将要修改的一些文件
在这里插入图片描述
⑴修改hadoop-env.sh

vi hadoop-env.sh

添加如下语句

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

在这里插入图片描述
添加后保存,退出

⑵修改core-site.xml

vi core-site.xml

添加如下语句

<configuration>
 <property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000/</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/soft/hadoop-2.7.3/hdfs/tmp</value>
 </property>
 <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
 </property>
 <property>
  <name>fs.checkpoint.period</name>
  <value>60</value>
 </property>
 <property>
  <name>fs.checkpoint.size</name>
  <value>67108864</value>
 </property>
</configuration>

保存后退出

⑶修改yarn-site.xml

vi yarn-site.xml

添加如下语句

<configuration>
 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
 <property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
   <name>yarn.resourcemanager.address</name>
   <value>centos1:8032</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>centos1:8030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>centos1:8035</value>
 </property>
 <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>centos1:8033</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>centos1:8088</value>
 </property>
</configuration>

保存并退出

⑷修改hdfs-site.xml

vi hdfs-site.xml

添加如下语句

<configuration>
 <property>
  <name>dfs.replication</name>
  <value>2</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/soft/hadoop-2.7.3/hdfs/name</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/soft/hadoop-2.7.3/hdfs/data</value>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>centos1:9001</value>
 </property>
 <property>
  <name>dfs.webhdfs</name>
  <value>true</value>
 </property>
 <property>
  <name>dfs.permissions</name>
  <value>false</value>
 </property>
</configuration>

保存并退出

⑸修改mapred-site文件配置
hadoop没有这个文件，需要将mapred-site.xml.template复制为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml

vi mapred-site.xml

添加如下语句

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>
</configuration>

保存并退出

⑹设置节点文件
新建slave文件

vi slaves

添加

slave1
slave2

新建master文件

vi master

添加

master

⑺将整个hadoop文件夹复制进子节点

scp -r /usr/local/soft/hadoop-2.7.3 root@slave1:/usr/local/soft
scp -r /usr/local/soft/hadoop-2.7.3 root@slave2:/usr/local/soft

⑤HDFS格式化

只需在namenode节点上进行

hadoop namenode -format

启动

cd /usr/local/soft/hadoop-2.7.3
sbin/start-all.sh

用jps命令可以查看是否启动成功

jps

如图所示则成功！
在这里插入图片描述
在这里插入图片描述

注意事项:重复格式化hdfs会导致datanode启动失败
解决办法: link

Jarrett33
关注
大数据和云计算的读书笔记
03-09
主要记录了我阅读架构大数据-大数据技术及算法分析时觉得是重点的知识，涉及以下内容：大数据、云计算、Hadoop、Spark、推荐算法等 ps:请用XMind软件打开
云计算与大数据课程学习笔记
jashshj的博客
09-28 3474
一. 1.什么是云计算？ 云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒钟）完成对数以万计的数据的处理，从而达到强大的网络服务。现阶段所说的云服务已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡
《云计算-刘鹏》学习笔记-第一章：大数据与云计算
我是一只小嵩鼠
03-28 2010
云计算是通过网络按需提供可动态伸缩的廉价计算服务
《云计算与大数据》学习笔记（上）
P_Joe
05-22 1786
文章目录一、考点概述二、章节内容chp1 绪论chp2 数据采集与治理chp3大数据管理chp4 数据分析chp5 数据可视化chp6 数据安全与隐私保护 一、考点概述 chp1：理解大数据概念、大数据(4V特性) chp2：数据采集、数据集成、数据预处理 chp3：HDFS特点、分布式文件系统对比、Nosql数据库对比 chp4：略 chp5：数据可视化技术及其优缺点 chp6：大数据加密解密技术、如何做一个加密解密模型、PKI证书和PMI证书的区别 （笔记包含但不限于以上内容，考点在框框里） 二、
大数据与云计算笔记Markdown格式
11-08
大数据与云计算课堂笔记，Markdown格式
大数据技术与云计算笔记
最新发布
03-24
大数据的发展趋势包括数据的资源化、与云计算的深度融合、科学理论的创新、数据科学和数据联盟的形成、数据安全的关注、数据管理的重要性提升以及数据生态系统复杂性的增强。 云计算则是一种通过互联网提供按需计算...
云计算大数据学习笔记
04-17
云计算大数据学习笔记，让你深入学习云计算大数据学习技术。
完整图文版 阿里巴巴数据产品平台 大数据与云计算技术系列教程 Hadoop之Hive学习笔记（共63页）.pdf
09-04
Hive是由阿里巴巴数据产品平台推出的一款基于Hadoop的大数据处理工具，主要服务于大数据与云计算技术领域。Hive的核心是提供了一种类SQL（HQL）的查询语言，使得熟悉SQL的开发者能够方便地进行大数据分析。本教程...
【云计算与大数据概述 】课堂笔记
weixin_55270959的博客
06-29 3144
第一章 云计算的概念与发展 1.1 云计算简介 云计算的技术内容包括分布式计算技术，虚拟化技术，网络技术，服务器技术，数据中心技术，云计算平台技术，存储技术等 云计算的定义：一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备（维基百科） 云计算时代基本的3种角色：资源的整合运营者，资源的使用者，终端客户 1.2 云计算的发展历程 1.3 云计算的特点 资源池弹性可扩张 按需提供资源服务 虚拟化 网络化的资源接入 高可靠性和安全性 经济性 1.4云计算技术.
【云计算与大数据】知识点总结
码农印象
06-14 9322
前言第一章1.大数据的四个特点（4V）2.大数据计算模式3.云计算第二章（hadoop）1.Hadoop第三章（HDFS）1.HDFS的相关概念2.HDFS数据复制3.HDFS常用命令第四章（HBase）1.概念2.HBase和传统关系数据的区别第七章（MapReduce）1.MapReduce设计的一个理念2.MapReduce在三个层面上的构思第九章1.概念2.应用场景3.Spark理念4.S...
大数据与云计算复习笔记
白夜的博客
06-27 9712
typora-copy-images-to: 大数据与云计算复习笔记图片 大数据与云计算复习笔记 第一讲 概述 1.计算的历史 1、手工计算 2、大型计算机 3、个人计算机 4、云计算 2.云计算的基础技术 1、虚拟化技术 2、分布式文化系统 3、海量数据存储技术 4、宽带网络与智能终端 3.云计算应用 1、电子商务 2、电子政务 3、教育及培训 4、影视/游戏/娱乐 5、技术行业 4.国外云计算代表公司 amazon：Amazon Web Services Google： Microsoft：Windo.
云计算实训报告总结_实训报告心得体会（通用5篇）
热门推荐
weixin_33213911的博客
02-05 2万+
实训报告心得体会(通用5篇)我们在一些事情上受到启发后，马上将其记录下来，这样就可以总结出具体的经验和想法。那么如何写心得体会才能更有感染力呢？以下是小编帮大家整理的实训报告心得体会(通用5篇)，欢迎阅读，希望大家能够喜欢。实训报告心得体会1我对于visualbasic的学习，是从初中开始的。当时舟山市的中考政策有考级加分制度，考出全国二级能加10分。在此诱惑下报名参加培训班，考了两次，第一次笔试...
大数据基础环境之zookeeper（3台虚拟机）
咸鱼的博客
10-19 602
因为之后的大数据环境都要依赖jdk 我的软件包都放在了 /opt/soft下： 安装JDK 1.首先在根目录下建立工作路径/usr/java mkdir -p /usr/java tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/ 2.修改环境变量　　修改环境变量：vi /etc/profile 　　添加...
云计算和大数据技术---学习笔记
qq_43285863的博客
12-26 1980
云计算和大数据技术Part 1 云计算基础思维导图：练习题： Part 1 云计算基础 思维导图： 练习题： 云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型，通常技术人员在绘制系统结构图时用一朵云来表示网络 与传统的资源提供方式相比，云计算具有什么特点？ 答：资源池弹性可扩张、按需提供资源服务、虚拟化、网络化的资源接入、高可靠性和安全性 按照资源层次分类，云计算可分为基础设施即服务IaaS、平台即服务PaaS、软件及服务SaaS三种类型 云计算领域存在两个主要的基础路线，一个是基于
大数据与云计算笔记[一]:云计算相关概念
Veyron_wu
09-20 1074
大数据与云计算名称解释
《分布式计算、云计算与大数据》笔记
JUNEZHANG2015的博客
10-09 2293
chapter 11 大数据技术与实践 大数据4V特征 数据量大-Volume,变化速度快-Velocity,多类型-Variety,高价值-Value 大数据存储平台 1、HDFS(Hadoop Distributed File System) 搭建 部署模式：单机模式、伪分布模式、全分布模式 实验/编程：单机模式、伪分布模式，一台普通计算机就可以完成搭建 生产环境：全分布模式
《云计算与大数据》学习笔记（下）
P_Joe
05-26 1639
文章目录一、考点概述二、章节内容chp7 大数据处理平台chp8 社会网络大数据chp9 城市大数据chp10 工业大数据chp11 教育大数据chp12 数据开放与共享应用1 搜索引擎与Web挖掘应用2 推荐技术研究及应用云计算 一、考点概述 chp7：hadoop、yarn设计思路、流式计算、bsp模型、pagerank算法 应用：信息检索模型、评价一个IR系统的好坏、协同过滤、user-based item-based及其运算 云计算：云计算特点、云计算服务类型分类、虚拟化分类 二、章节内容 ch
大数据与云计算解析：MapReduce学习笔记
"云计算大数据学习笔记，主要讲解了大数据的基本概念、增长趋势以及数据来源，并介绍了云计算在处理大数据中的作用。" 在大数据的世界里，数据的规模是极其庞大的，从最基本的字节（Byte）到更大的单位，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值