Hadoop学习笔记1

已于 2023-09-20 14:16:06 修改
阅读量34 收藏
点赞数
文章标签： 大数据 hadoop
于 2023-09-20 14:15:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53384960/article/details/132417000
版权

大数据的5V特性
高速 ：数据产生的速度较快 ，其数据产生的速度，是单台机器无法承载的
大量：数据经过一段时间积累，数据量级能够达到TB级以上
多样化：是指数据的类型多样化 处理的数据通常包括：日志数据 ，JSON数据（半结构化数据），结构化数据（二维结构数据）通常来自于业务系统中
价值：数据中可以挖掘的价值
真实：只要是历史产生过的数据，那么就可以存放到大数据库中，用于做数据分析
Hadoop简介
Hadoop是一个适合海量数据的分布式存储（HDFS）和分布式计算（MapReduce）的平台（分而治之）
Hadoop所含三个组件
HDFS：分布式存储框架，适合海量数据存储
MapReduce：分布式计算框架，适合海量数据计算
Yarn：资源调度平台，负责给计算框架分配计算资源（在hadoop1.x后产生）

qq_53384960
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop学习笔记
jinliwei1990的博客
01-13 1146
Hadoop的学习笔记：Hdfs、Hdfs与Hadoop的关系、Hdfs设计目标、Hdfs的优缺点、Hdfs的安全性和速度、Hdfs的主要组件、Hdfs数据流；HBase、HBase逻辑模型、与传统数据库差异；MapReduce、Hive与Pig
hadoop学习笔记
Maggie_JK的博客
07-11 231
专为离线和大规模数据分析而设计的，可编写和运行分布式应用处理大规模数据。
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
jiang0615csdn的博客
07-11 228
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
kibana连接elasticsearch(版本8.11.3)
abments的博客
07-11 711
kibana连接elasticsearch(版本8.11.3)
elk部署springboot
Chihirozy的博客
07-11 361
elk部署springboot。
链路追踪系列-01.mac m1 安装zipkin
最新发布
suanhengzi的博客
07-13 838
可能需要先删除 /Users/jelex/dockerV/es/plugins 目录下的.DS_Store。下载地址：https://hub.docker.com/r/openzipkin/zipkin。————————————————zipkin启动参数附录———————访问http://localhost:9411/zipkin/
Elasticsearch 多索引/多类型搜索
Dxy1239310216的博客
07-10 969
Elasticsearch的多索引搜索功能为跨多个数据集进行联合查询提供了极大的便利。通过灵活使用索引名、通配符和组合查询等技巧，可以构建出复杂而强大的搜索查询。然而，随着Elasticsearch版本的更新和演进，一些旧的功能（如类型）可能会被废弃或移除，因此在设计和实现多索引/多类型搜索时，需要关注Elasticsearch的最新动态和最佳实践。
工业大数据是什么？应用工业大数据时面临哪些挑战？
Leo的博客
07-12 761
随着工业大数据的深入应用，我们见证了它在推动工业转型升级中的巨大潜力。然而，这一过程中所面临的挑战也不容忽视，包括数据资源的稀缺、数据治理的滞后以及数据孤岛的问题。为了克服这些难题，需要企业、行业乃至整个社会的共同努力和智慧。
数据仓库（Data Warehouse）建设的流程[web业务交互之外部分]
builie0748594740的博客
07-11 341
4.远程终端工具进行安装，Xshell和Xftp。23.创建ADS层并创建临时表，方便后续导入到。Hadoop 集群离线安装 mysql。17.Hadoop 集群安装 hive。8.在第二台虚拟机安装Hadoop。3.选择NAT模式进行网络配置。24.mysql建表并导入数据。2. CentOS创建虚拟机。7.在第二台虚拟机安装jdk。Zookeeper 集群操作。18.Sqoop 安装与配置。9.使用完全分布式运行模式。1.下载安装VMware。13.配置历史服务器。14.配置日志的聚集。
Spark-RDD和共享变量
lu070828的博客
07-10 1120
每个Spark应用程序都由一个组成，该驱动程序运行我们编写的main函数，并在集群上执行各种操作。Spark提供的主要抽象是一个弹性分布式数据集，它是一个跨集群节点分区的元素集合，可以并行操作。RDD是通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或中现有的Scala集合开始并转换它来创建的。用户还可以要求Spark在内存中持久化，允许它在并行操作中有效地重用。最后，RDD会自动从节点故障中恢复。Spark中的第二个抽象是可以在并行操作中使用的。
启动yarn后，其他节点没有NodeManager
你可以混，但不能真的菜！
07-12 664
这个问题虽然折磨了我两天，但是原因特别蠢，可能与各位不一定一样，我是因为ResourceManager的节点的"/etc/hadoop/workers"文件没有配置好（没有配hadoop102和hadoop104），但排查过程可以作参考。
大数据基础：Hadoop之Yarn重点架构原理
Lansonli（蓝深李）的博客
07-11 1024
Apache Hadoop Yarn(Yet Another Reasource Negotiator，另一种资源协调者)是Hadoop2.x版本后使用的资源管理器，可以为上层应用提供统一的资源管理平台。
RABBITMQ的本地测试证书生成脚本
applebomb的专栏
07-11 337
由于小程序要求必须访问wss的接口，因此需要将测试环境也切换到https，需要一堆证书。写了个脚本用来自动处理这个事情
西安明德理工学院师生莅临泰迪智能科技开展参观见习活动
tipdm0526的博客
07-10 305
。7月8日，西安明德理工学院与广东泰迪智能科技股份有限公司联合开展学生企业见习活动。西安明德理工学院金融产业学院副院长刘敏、金融学专业负责人张莉萍、金融学专业教师曹艳飞、赵浚妤、泰迪智能科技董事长张良均、校企合作经理吴桂锋、企业项目工程师卢毅以及来自西安明德理工学院金融学专业的50名学生参与本次活动。
hadoop学习笔记 hadoop基础知识
09-22
Hadoop是一个开源的分布式计算框架，可用于大数据的存储和处理。...总之，对于Hadoop的学习，除了理解其基础知识和工作原理外，还需要熟悉其常用操作和管理技巧，以及灵活运用Hadoop来解决实际的大数据问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值