大数据实训第四天笔记

最新推荐文章于 2024-08-29 11:24:16 发布
最新推荐文章于 2024-08-29 11:24:16 发布
阅读量194 收藏 2
点赞数 9
文章标签： 大数据 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jungle_guy/article/details/139849146
版权

Hadoop分布式的安装

本文参考了过去的笔记
内容会有很多省略的地方
安装Hadoop
在这里插入图片描述
配置本地hosts文件，使虚拟机能正确识别其他虚拟机
在这里插入图片描述
在这里插入图片描述
配置ssh密钥，使虚拟机集群之间能彼此正常访问
在这里插入图片描述
将生成的ssh公钥传递其他虚拟机
在这里插入图片描述
回到Hadoop安装目录，给Hadoop环境指定java路径

在这里插入图片描述
配置节点文件
在这里插入图片描述
在profile配置Hadoop命令与节点操作用户
在这里插入图片描述
在这里插入图片描述

配置wokers，指定有多少台虚拟机参与集群
在这里插入图片描述
初始化Hadoop集群

在这里插入图片描述
启动，确认无误
在这里插入图片描述

jungle_guy
关注
  • 9
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据实训笔记
qq1772819485的博客
09-17 2122
大数据实训笔记 （一）大数据实训第一天 Linux常用命令： cd / 切换路径 cd … 回到上一层路径 ls 查看当前目录下所有文件和文件夹 ls -a 显示隐藏文件 ls -l 查看详细信息（ll） mkdir 创建文件夹 touch 创建文件 mv /lx /opt/ 移动（剪切） mv lx xxx 重命名 cp lx.txt /opt/ 复制粘贴 cd /opt vi...
大数据实训第六天笔记
jungle_guy的博客
07-14 513
首先将Hadoop文件复制一份，在其中将shera目录删掉，该目录包含了Hadoop所有的对外网页服务内容，但是在测试代码的Hadoop中不需要这一部分，删除后可以加快从虚拟机导出的过程。在Windows中编写自定义的Mapreduce，如果需要测试代码，则需要在Windows中构建Hadoop环境。在其中的bin目录下，添加一系列Hadoop的Windows的本地化依赖。前往Windows的环境变量配置下，添加HADOOP_HOME。java通过hdfs的api进行的各种操作。添加maven的项目配置。
大数据实训第八天笔记
jungle_guy的博客
07-15 431
这里我们使用Hadoop的guava包来替代hive的guava包，因为Hadoop的guava包版本更新。由于MySQL与mariadb冲突，所以在安装MySQL前，需要卸载mariadb。将包含以下内容的hive-site.xml移动到hive配置文件目录中。查询MySQL日志，获得初始化时给MySQL账号设置的初始密码。设置MySQL访问ip，使任何ip都可以访问虚拟机的MySQL。从虚拟机外的navicat尝试访问虚拟机上的MySQL。在hive的库目录中导入MySQL的jdbc库。
大数据实训第十四天笔记
jungle_guy的博客
07-18 148
在进行导入之前，需要安装sqoop。
大数据实训第七天笔记
jungle_guy的博客
07-15 371
如要计算如下的数据，计算每个人的购物总金额，则应当自定义一个使用了writeable接口的类1,小明,男,iphone14,5999,12,小华,男,飞天茅台,2338,23,小红,女,兰蔻小黑瓶精华,1080,14,小魏,未知,米家走步机,1499,15,小华,男,长城红酒,158,106,小红,女,珀莱雅面膜,79,27,小华,男,珠江啤酒,11,38,小明,男,Apple Watch 8,2999,1import org/**
大数据实训第十七天笔记
jungle_guy的博客
07-22 1035
与HDFS和Hive的链接类似，但是Zookeeper中引入了监听器的机制,关于监听器的使用，会在后面提到。在另外一个NameNode节点(bigdata08)上同步元数据信息 然后再启动NameNode。使用监听器会在线程阻塞后自动保持监听器的监听状态，默认调用init中的监听器。准备三台克隆的虚拟机，其中包含安装好的Hadoop与jdk。在正常的Hadoop安装中,需要将以下文件内容变更。在安装流程中，再额外添加的profile配置项。在bigdata07执行NameNode的启动。
大数据实训第十六天笔记
jungle_guy的博客
07-22 995
在已有节点/node1/child2_tmp中创建临时临时非顺序子节点/node1/child2_tmp/test 该节点数据是 “456”在已有的持久节点node1 中创建临时非顺序子节点/node1/child2_tmp 该节点数据是 “123”在bigdata05上启动zk的shell命令行，监听已有节点node1的子节点变化情况。在已有的持久节点node1 中创建持久非顺序子节点 该节点存储的数据“def”该命令无法执行 由于node1节点下存在子节点 有子节点的父节点无法删除。
大数据实训笔记8：hbase
Roslin_v的博客
07-07 728
介绍了hbase的安装部署及集群的启动和停止，演示了hbase的基本shell操作和API应用。介绍了hbase和mapreduce集成的环境配置与几个案例。最后介绍了hbase优化。
贵师大-大数据实训项目-笔记
若兰幽竹
05-08 3094
我们要做什么： 目标：电商网站+电商网站后台管理系统+大数据分析+数据可视化 思路：按照数据的采集，数据的存储，数据分析处理，数据可视化 逻辑图： （*）注意：实训教室：6506 一、数据的采集 1、电商后台管理系统：Spring MVC就是后台管理系统 保证Spring MVC实训项目运行起来 ...
大数据实训平台
zlpzlr的博客
04-01 1454
第一章 平台介绍 1.1 架构介绍 大数据竞赛平台采用私有云系统建设，基于私有云环境架构建设大数据竞赛系统，结合当今大数据形势、主流竞赛设备、技术在数据挖掘与分析等方向为学校提供全面的竞赛环境。通过动手实际操作，强化学生对大数据技术知识的理解，提高集群部署与数据分析操作能力。整个平台的运行依托于云计算系统，将云计算系统的计算资源与各种教学资源整合在一起，向用户提供各种服务。具体说明如下： 底...
大数据 实验一：大数据系统基本实验 熟悉常用的HDFS操作_大数据系统及应用-hdfs实训
2401_84166306的博客
05-01 555
返回上一个命令的状态，0表示没有错误，其他任何值表明有错误（这里显然出错，因为还没有建text.txt文件夹），手动建一个text.txt然后拖到/usr/local/hadoop。刚开始先跑shell，运行不报错，但无内容输出（但txt里是有内容的）。重启了虚拟机开始做这个实验，一开始出现报错，搜索后发现原来是hadoop没开。）理解 HDFS 在 Hadoop 体系结构中的角色。）熟练使用 HDFS 操作常用的 shell 命令。路径存在的情况（以下代码是路径存在的情况））JDK 版本：1.8；
Spark大数据分与实践笔记（第三章 Spark RDD 弹性分布式数据集-01）
Lydia868的专栏
08-19 1144
传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大星的磁盘I0操作。Spark中的RDD可以很好的解决这一缺点。RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的V/O操作，提高数据处理的速度和性能。接下来，本章将针对RDD进行详细讲解。
学习笔记:从0开始学习大数据-42.综合实训四：Spark+Kafka构建实时分析Dashboard案例
LinBSoft的专栏
03-07 2707
本次实习是学习厦门大学林子雨团队的案例，本来以为容易，结果两天才调试通过，主要是spark的版本不对，调试了好久，最后下载对的版本，才通过，记录一下： 教程网址：http://dblab.xmu.edu.cn/post/8274/ Spark课程实验案例：Spark+Kafka构建实时分析Dashboard（免费共享） 本案例实现： 一、下载数据，测试kafka处理数据 1.数据...
大数据技术概述
weixin_51591328的博客
08-28 223
知识点 其他
窥一斑而知全豹
最新发布
xuexiaogang的专栏
08-29 387
由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。
clickhouse 原理详解
chuige2013的博客
08-25 729
中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋，李宁公司等大型企业用户选择Greenplum的产品。Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris，Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，能够很好的支持频繁的数据插入和修改 ，但是，一旦数据量过大，OLTP便力不从心了。1、MPP数据库简介。1、MPP数据库简介。
Hive SQL
08-26 1107
tinyint 1byte 有符号整数smallint 2byte 有符号整数int 4byte 有符号整数bigint 8byte 有符号整数boolean 布尔类型，true或者falsefloat 单精度浮点数double 双精度浮点数decimal 十进制精准数字类型 decimal(16,2)
flink 核心概念（个人总结）
weixin_44702289的博客
08-26 372
状态：在处理数据时，flink可以维护状态，这对于实现复杂逻辑如窗口操作和聚合是有必要的。flink支持有状态的流处理，它可以存储和访问数据流处理过程中的状态信息。窗口是处理无界数据流的一种方法，它将数据流切分成有限大小的块进行处理。b.有界数据流：有明确开始和结束点的数据流，例如批量处理的历史数据。flink将数据视为流，无论是实时的无界数据流还是有界的数据流。1.滚动窗口：固定大小的窗口，当新的事件到达时，窗口会向前滚动。a.无界数据流：实时生成的数据流，没有结束点，例如实时交易数据。
大数据Hadoop学习笔记深度解析与就业指南
本资源是一份全面的大数据学习笔记汇总，主要关注于Hadoop技术的学习和发展。笔记内容分为六个部分： 1. **HADOOP入门** 部分首先介绍了大数据课程的基本内容，包括课程概述、学习建议、就业前景和Hadoop的发展规划...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值