大数据-hadoop

最新推荐文章于 2024-09-14 22:07:12 发布
最新推荐文章于 2024-09-14 22:07:12 发布
阅读量181 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_5323/article/details/82581431
版权
面对当前的热点，大数据处理分析已经是互联网开发工程师必须要掌握的技能之一。今天开始学习hadoop，逐步记录自己每天的学习心得。。
iteye_5323
关注
大数据之-Hadoop3.x_Hadoop_HDFS_掉线时限参数设置---大数据之hadoop3.x工作笔记0079
添柴程序猿的专栏
07-01 350
这里定义超时时间是TimeOut,那么这个TimeOut是怎么计算的呢? 是2 *dfs.namenode.heartbeat.recheck-interval这个 dfs.namenode.heartbeat.recheck-interval 是五分钟 然后10 *dfs.heartbeat.interval这个 dfs.heartbeat.interval 的3秒,所以这个掉线时限,就是 10分钟,加上30秒,如果和这个datanode还是通信不上的话,namen...
大数据-HadoopLearning【程序员VIP专用】.zip
09-03
【hadoop基础教程】 1.1、centos相关 VM虚拟机和Centos系统安装 linux常用命令讲解 shell脚本编写入门 1.2、maven相关 安装部署基础概念 依赖聚合与继承 搭建管理与应用 2、大数据教程 2.1、hdfs教程 内部结构与...
大数据-Hadoop概论
shiqifei的博客
05-09 1167
文章目录大数据概论1、大数据概念2、大数据特点1、Volume (大量)2、Velocity (高速)3、Variety (多样)4、Value (低价值密度)3、大数据应用场景4、大数据部门业务流程分析5、大数据部门组织机构Hadoop1、Hadoop是什么？2、Hadoop发展史3、Hadoop三大发行版本1、Apache Hadoop2、Cloudera Hadoop3、Hortonworks Hadoop4、Hadoop优势5、Hadoop组成（面试重点）1、Hadoop1.x和Hadoop2.x区
大数据框架-Hadoop
qq_42583549的博客
05-06 2420
大数据通过分布式文件系统来存储大量数据，同时利用分布式计算来高效地处理数据，并提供数据采集、预处理、分析和可视化等服务，
大数据之路-Hadoop-概述（1）
sunnnyeee的博客
12-31 1142
Hadoop已经不是一个新技术了，从2003年谷歌的三驾马车（GFS、MapReduce、Bigtable），到2008年成为Apache的顶级项目，一直到现在广泛的使用在大数据领域中，这是在做数据中台建设时必然会接触到的领域。 因此想写一个系列，从产品经理的角度讲一讲Hadoop及其相关的一些生态，帮助非技术背景的同行们能够更快速的理解。 如果从一个产品角度来分析Hadoop，那么可以分成以下几个方面： 背景问题 Hadoop最早起源于Nutch，Nutch的设计目标是构建一个大型的全网搜索引擎，在这过程
大数据-hadoop-服务器-网络拓扑
zhou_hao_yan的博客
11-13 1429
理论比较枯燥直接上图
大数据-Hadoop的介绍、配置和集群的使用
Sun123234的博客
01-15 829
大数据-Hadoop的介绍、配置和集群的使用
大数据学习心得--hadoop框架
weixin_44570919的博客
05-04 6560
前言 本人是IT行业刚入行的新人，在看过许多大佬写的博客后也忍不住想写一些自己的东西。这是本人第一次写博客，技术不够，不敢妄谈一些太过前沿的技术的东西，想简单写写自己学过的东西，就当温故而知新了。本篇便以hadoop框架为主题来写点东西。众所周知，hadoop框架出现已久，hadoop主要由三个部分组成：hdfs、yarn、mapreduce。 诚然，作为早期的分布式开源框架，MapReduce实......
大数据--Hadoop运行环境搭建（Linux虚拟机）
xd__xy的博客
05-07 1169
注意：yudan这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了yudan具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。（3）注意：如果Linux安装的是最小系统版，还需要安装如下工具；④将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件。（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8。（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可。
大数据-Hadoop(虚拟机安装）
weixin_59868842的博客
01-29 3015
1.安装虚拟机 1.2．新建虚拟机，如图1-17所示 1.2．新建虚拟机向导，如图1-18所示 图1-18 新建虚拟机向导 1.3．创建虚拟空白光盘，如图1-19所示 1.4．安装Linux系统对应的CentOS版，如图1-20所示 1.5．虚拟机命名和定位磁盘位置，如图1-21所示 1.6．处理器配置，看自己是否是双核、多核 1.7．设置内存为2GB 1.8．网络设置NAT 1.9．选择IO控制器类型 1.10．选择磁盘类型 1.11...
云计算分布式大数据-Hadoop深入浅出案例驱动实战外训讲义.rar
09-06
**云计算分布式大数据-Hadoop深入浅出案例驱动实战外训讲义** 在当今信息化时代，大数据已成为企业竞争力的关键因素。云计算以其弹性、可扩展性和成本效益为处理海量数据提供了理想的平台。其中，Hadoop作为开源的...
#一文读懂大数据-Hadoop-大数据技术和相关应用.docx
11-11
本文将深入探讨Hadoop这一关键的大数据处理框架，以及大数据技术和相关应用的发展。 Hadoop是Apache基金会开发的一个开源项目，它是应对大数据挑战的核心工具之一。Hadoop的设计理念是分布式存储和处理，能够高效地...
大数据-Hadoop环境搭建(单机)
09-18
本文档旨在指导读者搭建大数据Hadoop环境，基于CentOS 6.8操作系统，使用JDK 1.8和Hadoop 2.8.2版本。文档涵盖了服务器选择、相关配置、Hadoop环境安装、JDK环境配置、Hadoop环境配置等内容。 一、环境选择 在搭建...
Flume：大规模日志收集与数据传输的利器
最新发布
Casual_Lei的博客
09-14 855
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 993
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 876
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
【RabbitMQ】工作模式
weixin_73060900的博客
09-11 965
对RabbitMQ工作模式的简单概述以及代码案例
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值