Hadoop学习笔记（一）

最新推荐文章于 2024-07-18 14:52:10 发布
最新推荐文章于 2024-07-18 14:52:10 发布
阅读量237 收藏
点赞数
分类专栏： 大数据 Hadoop生态系统 学习笔记 文章标签： hadoop 大数据 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013061459/article/details/77429413
版权

Hadoop是什么

  • Hadoop运行于大规模普通服务器上的
  • 大数据存储、计算、分析的
  • 分布式存储系统和分布式运算框架

Hadoop2.X组成

  • 分布式文件系统HDFS
  • 分布式计算框架MapReduce
  • 资源分配系统YARN
测试架构师Alice
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop学习笔记
jinliwei1990的博客
01-13 1153
Hadoop的学习笔记：Hdfs、Hdfs与Hadoop的关系、Hdfs设计目标、Hdfs的优缺点、Hdfs的安全性和速度、Hdfs的主要组件、Hdfs数据流；HBase、HBase逻辑模型、与传统数据库差异；MapReduce、Hive与Pig
[大数据]黑马hadoop学习笔记一
m0_60707623的博客
10-23 764
黑马hadoop学习笔记一
hadoop学习笔记
Maggie_JK的博客
07-11 240
专为离线和大规模数据分析而设计的，可编写和运行分布式应用处理大规模数据。
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
Hadoop学习笔记（二）--HDFS分布式文件系统（1）
u013061459的博客
08-28 456
Hadoop学习笔记（二）--HDFS分布式文件系统 HDFS简介 优点： 处理超大文件流式的访问数据（一次写入，多次读取）运行于廉价的商用机器集群上 局限性： 不适合处理低延迟数据访问无法高效存储大量的小文件不支持多用户写入及任意修改文件 HDFS架构 主从结构 主节点：只有一个NameNode（单点故障），HA下会有多个NameNode。从节点：有很多D
Flume安装
u013061459的博客
11-16 431
安装步骤 • 1、对flume进行解压缩：tar -zxvf apache-flume-1.6.0-bin.tar.gz（下载地址：http://archive.apache.org/dist/flume/） • 2、对flume目录进行重命名：mv apache-flume-1.6.0-bin flume • 3、配置flume相关的环境变量 1）vi ~/.bash_profile
NoSQL
u013061459的博客
11-03 251
NoSQL，泛指非关系型的数据库 NoSQL数据库的四大分类 1.键值(Key-Value)存储数据库 这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果DBA只对部分值进行查询或更新的时候，Key/value就显得效率低下了。Redis 2.列存储数据库 这部分数据库通常是用来应对分
Flume简介
u013061459的博客
11-16 203
Flume 是Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume 提供对数据进行简单处理，并写到各种数据接受方的能力。 Flume 使用java 编写，其需要运行在Java1.6 或更高版本之上。 Flume 传输的数据的基本单位是Event，如果是文本文件，通常是一行记
Hadoop3：MR程序优化的相关参数介绍
Brave_heart4pzj的博客
07-17 310
Hadoop
Hadoop3：MR程序压测实验
Brave_heart4pzj的博客
07-17 440
Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
永远好奇，无限进步！
07-15 669
上一节完成了ZK的命令操作：创建、读取、删除节点等操作。本节用JavaAPI进行操作，实现创建、删除、监听节点、监听变化等操作。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123。
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
永远好奇，无限进步！
07-17 987
上节完成了HBase的基础概念、架构逻辑、各个组件的功能。本节我们单机部署HBase，配置环境，配置hbase-env、hbase-site文件，为集群做好准备。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。
Hadoop3：RPC通信原理及简单案例实现
Brave_heart4pzj的博客
07-17 373
Hadoop、Java
Hadoop3：MR程序处理小文件的优化办法(uber模式)
Brave_heart4pzj的博客
07-17 576
Hadoop
探索与维护Hadoop：掌握高效目录查询与清理的艺术
最新发布
marsjin的专栏
07-18 420
维护Hadoop的健康状态，不仅是技术挑战，更是对数据管理策略的考验。通过熟练掌握目录查询、清理及垃圾回收，您可以确保HDFS的高效运作，为您的大数据项目奠定坚实基础。在数据洪流中航行，让我们携手探索Hadoop的无限可能。
大数据Hadoop学习笔记深度解析与就业指南
本资源是一份全面的大数据学习笔记汇总，主要关注于Hadoop技术的学习和发展。笔记内容分为六个部分： 1. **HADOOP入门** 部分首先介绍了大数据课程的基本内容，包括课程概述、学习建议、就业前景和Hadoop的发展规划...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值