Hadoop实践---导航

最新推荐文章于 2023-04-16 15:49:17 发布
最新推荐文章于 2023-04-16 15:49:17 发布
阅读量1k 收藏 5
点赞数
分类专栏： Hadoop Hadoop实践 文章标签： hadoop 大数据 导航
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wee_Mita/article/details/73226818
版权

大数据基础知识

Hadoop实践（零）—Hadoop作为数据湖
http://blog.csdn.net/Wee_Mita/article/details/55805701

Hadoop实践（零）—Hadoop项目生态系统
http://blog.csdn.net/wee_mita/article/details/55809015

Hadoop核心组件

Hadoop实践（一）—Hadoop核心组件之HDFS
http://blog.csdn.net/wee_mita/article/details/72676155

Hadoop实践（一）—Hadoop核心组件之YARN
http://blog.csdn.net/wee_mita/article/details/72730585

Hadoop实践（一）—Hadoop核心组件之MapReduce
http://blog.csdn.net/wee_mita/article/details/72721761

Hadoop集群搭建和开发环境配置

Hadoop实践（二）—Hadoop单机模式
http://blog.csdn.net/wee_mita/article/details/53924140

Hadoop实践（二）—集群搭建之Hadoop 2.7.1
http://blog.csdn.net/wee_mita/article/details/52750112

Hadoop实践（二）—集群搭建之Hadoop 2.7.3
http://blog.csdn.net/wee_mita/article/details/53911747

Hadoop实践（二）—集群和开发环境搭建（Intellij IDEA & Maven 开发Hadoop）
http://blog.csdn.net/wee_mita/article/details/72636616

Hadoop实践（二）—Eclipse Hadoop插件安装
http://blog.csdn.net/wee_mita/article/details/52823692

Hadoop实践（二）—Hadoop集群的使用和配置
http://blog.csdn.net/wee_mita/article/details/52760420

Hadoop实践（二）—Hadoop集群的安全设置
http://blog.csdn.net/wee_mita/article/details/53945665

MapReduce编程

Hadoop实践（三）—WordCount示例
http://blog.csdn.net/wee_mita/article/details/56481711

Hadoop实践（三）—MR作业运行（源码详解）
http://blog.csdn.net/wee_mita/article/details/72723527

Hadoop实践（三）—MapReduce作业运行全貌（YARN）
http://blog.csdn.net/wee_mita/article/details/52724178

Hadoop实践（三）—MapReduce中的输入和输出
http://blog.csdn.net/wee_mita/article/details/72897777

Hadoop实践（三）—Hadoop数据类型
http://blog.csdn.net/wee_mita/article/details/52750840

Hadoop实践（三）—MapReduce框架编程笔记
http://blog.csdn.net/wee_mita/article/details/52346202、

Hadoop实践（三）—MapReduce相关编程笔记
http://blog.csdn.net/wee_mita/article/details/52502243

Hadoop实践（三）—MapReduce编程 小技巧
http://blog.csdn.net/wee_mita/article/details/52653041

Hadoop实践（三）—HDFS Java 应用程序示例
http://blog.csdn.net/wee_mita/article/details/56307266

Hadoop实践（三）—使用HDFS的Java API
http://blog.csdn.net/wee_mita/article/details/52750018

Hadoop实践（三）—Hadoop API 之 ToolRunner
http://blog.csdn.net/wee_mita/article/details/62048105

Hadoop实践（三）—MapReduce中的Counter
http://blog.csdn.net/wee_mita/article/details/73526358

Hadoop实践（三）—新旧API对比
http://blog.csdn.net/wee_mita/article/details/73732653

Hadoop实践(三）—高阶MapReduce
http://blog.csdn.net/Wee_Mita/article/details/73844778

Hadoop集群运维

Hadoop实践（四）—Hadoop集群运维
http://blog.csdn.net/wee_mita/article/details/52517446

Hadoop实践（四）—Hadoop管理与维护命令
http://blog.csdn.net/wee_mita/article/details/52832260

Hadoop实践（四）—Hadoop性能优化
http://blog.csdn.net/wee_mita/article/details/52517588

Hadoop实践（四）—MR Job卡住的问题
http://blog.csdn.net/wee_mita/article/details/63682760

Hadoop实践（四）—生成集群上的监视和调试
http://blog.csdn.net/Wee_Mita/article/details/73917834

Hadoop实践（四）—性能调优
http://blog.csdn.net/Wee_Mita/article/details/73924614

Hadoop实践（四）—集群管理
http://blog.csdn.net/Wee_Mita/article/details/73928231

Hadoop相关知识

Hadoop2.0安装包目录结构分析
http://blog.csdn.net/wee_mita/article/details/52335197

Hadoop配置文件
http://blog.csdn.net/wee_mita/article/details/52346752

Hadoop配置中已弃用的属性
http://blog.csdn.net/wee_mita/article/details/53957930

YARN与MRv1对比
http://blog.csdn.net/wee_mita/article/details/52717645

Hadoop VS Spark
http://blog.csdn.net/wee_mita/article/details/72794302

狮锅艺
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 5831
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
hadoop大数据实践_刘锋的博客
jiu_mu_mu的博客
06-15 818
文章目录hadoop大数据一、hadoop连不上网解决：二、Xshell6连接三、启动服务4、hdfs的shell操作相关的命令：五、使用java去操纵hdfs首先新建一个maven项目添加maven依赖新建测试类1、新建一个文件夹2、创建文件3、重命名文件4、查看文件5、上传文件6、下载文件六、可视化yarn和MapReauce词频统计案例1、先停止hadoop2、启动所有3、输入访问8088端口打包放进hadoop中运行jar查看文件内容七、ECharts首先创建一个html引入ECharts的js文件
HDFS编程实践(Hadoop3.1.3)
最後の後悔的博客
04-16 3465
Hadoop 分布式文件系统是Hadoop核心组件之一。介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。 解决File hdfs://localhost:9000/user/hadoop does not exist 解决Call From Master/10.13.236,141 to localhost:9000 failed on connection exception:
Hadoop-深入实践（一）
coding乐园
07-04 1325
1. 大数据概念 无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 =海量数据+复杂类型的数据 2. 核心特征 数据量大 类型繁多 价值密度低 速度快时效高 3. 大数据处理平台 离线处理平台 交互式处理平台 流处理平台 4.大数据技术路线图 5. Hadoop 定义 Apache开源软件基金会开发的运行于大规模服务器上的大数据存...
Hadoop编程实践
aaaadioppa的博客
12-14 3659
以下是我云计算实验的作业，完成作业的过程中碰到了许多问题，但是最后都一一解决了，这个过程蛮痛苦的，但是完成的一瞬间如释重负，有问题欢迎大家与我交流！ 一、题目要求及说明 （1）每人在自己本地电脑上正确安装和运行伪分布式Hadoop系统。 （2）安装完成后，自己寻找一组英文网页数据，在本机上运行Hadoop系统自带的WordCount可执行程序文件，并产生输出结果。 （3）实现并测试矩阵相乘程序（选做） 二、操作过程及代码 1、安装虚拟机软件VMware Workstation，并进入网址http
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
hadoop3.3.0-winutils所有bin文件
02-27
hadoop3.3.0-winutils所有bin文件，亲测有效
Hadoop实践操作经验
PassionZheng的博客
04-29 497
文章目录一.HDFS存储多目录二.Hadoop支持LZO压缩配置1.hadoop-lzo编译2.Hadoop配置3.LZO创建索引三.Hadoop基准测试：HDFS压力测试1.测试HDFS写性能2.测试HDFS读性能3.使用Sort程序评测MapReduce四.Hadoop参数调优1.HDFS参数调优:hdfs-site.xml2.YARN参数调优:yarn-site.xml3.Hadoop宕机 ...
分布式计算开源框架Hadoop入门实践
放翁（文初）的一亩三分地
08-29 3万+
Author :岑文初Email: [email protected]: [email protected]: http://blog.csdn.net/cenwenchu79/ 引... 2What is Hadoop. 2Why is hadoop. 6How to Use Hadoop & Tips 7环境
Hadoop实验
Mister_Yu的博客
10-30 2968
在Linux上正确安装、配置Hadoop，并能够成功运行Hadoop，再根据指示在HDFS进行相应的操作
hadoop实践总结：
heitu278的专栏
07-25 5897
 概论    作为Hadoop程序员，他要做的事情就是：    1、定义Mapper，处理输入的Key-Value对，输出中间结果。    2、定义Reducer，可选，对中间结果进行规约，输出最终结果。    3、定义InputFormat 和OutputFormat，可选，InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用，不定义时默认为String。   
Hadoop之HDFS（实践篇）
penggougoude的博客
09-04 4866
上一篇文章介绍了HDFS的体系结构及基本原理等偏理论性的内容，本文将更多地从命令行操作、Java程序编写等实践角度着手，对HDFS的使用进行介绍。 1、HDFS的命令行操作 HDFS是存取数据的分布式文件系统，对HDFS的操作，就是文件系统的基本操作，如文件的创建、修改、删除、修改权限等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。总的来说，H...
Hadoop-2.8.0实践——搭建Hadoop集群
Jochen的博客
11-15 4756
在本地测试hadoop成功后，我们在多台主机上搭建hadoop集群，用于处理大规模数据… 一、准备工作 1.1 系统环境 三台 Ubuntu 16.04 64位笔记本（一台作为Master节点，另外两台作为Slave节点） 1.2 创建用户 创建用户，并为其添加root权限： sudo adduser hadoop sudo vim /etc/sudoers # 修改内容如下： root ALL...
大数据处理和编程实践Hadoop
大数据学习博客
05-17 924
Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 当前没有正式确定使用，所以也是自己业余摸索，后续所写的相关内容，都是一个新手的学习过程，难免会有...
Hadoop
热门推荐
无境
09-18 8万+
Hadoop简介 Hadoop 的思想之源：Google 第一遇到大数据计算问题的公司 Openstack :NASA 面对的数据和计算难题 - 大量的网页怎么存储 - 搜索算法 带给我们的关键技术和思想（Google三大理论） - GFS 文件存储 - Map-Reduce 计算 - Bigtable 创始人：Doug cutting Hadoop简介：http://hadoop.ap...
Hadoop学习目录导航
anaitudou的专栏
07-12 847
  Hadoop学习第一课（虚拟机安装） Hadoop第二课（安装JDK） 学习Hadoop第三课（Hadoop安装与配置） Hadoop第四课（Hadoop初始化和测试） Hadoop学习第五课（配置ssh免密码登陆配置和ssh原理） Hadoop学习第六课（初识HDFS原理） Hadoop学习第七课(HDFS架构原理) Hadoop学习第八课（利用Java接口来操作Hadoop...
hadoop fs -cp
最新发布
05-29
`hadoop fs -cp`是一个HDFS shell命令，用于在HDFS中复制文件和目录，它的语法格式如下： ``` hadoop fs -cp [-f] [-p | -p[r]] [-d] <src>... ``` 其中，`<src>`是要复制的源文件或目录的路径，`<dst>`是目标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值