[置顶]01_Hadoop学习笔记内容说明

最新推荐文章于 2021-05-30 13:33:14 发布
VIP文章 最新推荐文章于 2021-05-30 13:33:14 发布
阅读量444 收藏
点赞数 1
分类专栏： Hadoop 文章标签： hadoop hbase hive 学习路线
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011528448/article/details/50962251
版权

Hadoop学习笔记内容说明_00

1、  观看云帆大数据梦琪老师的《企业级 Hadoop 1.x 应用开发基础课程》2014年4月左右版本。

2、  博客是在梦琪老师的随堂笔记上改动的，方便的是自己以后回顾学习，也或许能给需要改方面帮助的同行提供些许帮助，在此非常感谢梦琪老师。

3、  本系列是在CentOS6.4+hadoop1.2.1上实验通过的。

4、  由于本人刚刚接触，对Linux也只是初步了解，实验过程中遇到比较奇葩的问题，也在此博客写出。

5、  云帆大数据官网公布了一些公开的视频资源，大家可以前往学习。

 

第一个专题

Linux 系统环境搭建和基本命令使用：上课使用虚拟机，CentOS  6.4  64 位操作系统，基本命令要 熟悉，一次课时。

第二至五个专题（Hadoop 1.x  系列的核心，基础）

Hadoop 本地（单机）模式和伪分布式模式安装：Hadoop  1.x  理论知识，架构体系，安装模式， 认识 HDFS  文件系统，运行 MapReduce 程序 WordCount，如何查看 Hadoop  源码，Hadoop  1.x  包的 结构等等，三次课时。

HDFS 的体系结构、Shell 操作、Java  API 使用和应用案例：深入讲解 HDFS  相关内容，包括 HDFS 架构与设计，优缺点，如何存储文件；如何访问 HDFS  文件系统

最低0.47元/天 解锁文章
sunseazhu
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-API.zip_Hadoop学习_hadoop api
09-19
这是hadoop的API介绍，对于学习很有帮助
Oracle中常用的函数
Token
03-27 830
[本文转自](https://note.youdao.com/) 在SQLPLUS下，实现中-英字符集转换 alter session set nls_language='AMERICAN'; alter session set nls_language='SIMPLIFIED CHINESE'; 主要知识点： 一.有关表的操作 1)建表 create table test as s...
01_Hadoop学习笔记内容说明
weixin_30739595的博客
03-04 81
Hadoop学习笔记内容说明_00 1、 观看云帆大数据梦琪老师的《企业级 Hadoop 1.x 应用开发基础课程》2014年4月左右版本。 2、 博客是在梦琪老师的随堂笔记上改动的，方便的是自己以后回顾学习，也或许能给需要改方面帮助的同行提供些许帮助，在此非常感谢梦琪老师。 3、 本系列是在CentOS6.4+hadoop1.2.1上实验通过的。 4、 由于本人刚刚接触，对L...
signature=f858aee57ce8e7dd6049cb7a67e88759,jdk8u/jdk8u/jdk: 8d39522b0f75
热门推荐
weixin_34447182的博客
05-30 9万+
--- a/make/CopyFiles.gmkMon Nov 23 15:02:19 2015 -0800+++ b/make/CopyFiles.gmkMon Feb 03 06:25:04 2020 +0000@@ -1,5 +1,5 @@#-# Copyright (c) 2011, 2016, Oracle and/or its affiliates. All rights reserv...
Airtest新手指南大全
AirtestProject的博客
04-23 3363
版权声明：允许转载，但转载必须保留原链接；请勿用作商业或者非法用途 此文章来源于项目官方公众号：“AirtestProject” 前言 每天都有很多新的小伙伴开始学习使用我们的 Airtest 和 poco 框架来进行自动化测试；但是新手难免会提出很多疑问： 比如，使用这两个框架能不能满足我的测试工作需求；有没有什么教程可以学习；到哪里可以找到一些脚本demo看看；遇到问题不能解决可以怎么办…...
Hadoop学习笔记
03-02
开始学习Hadoop，首先搭建了一下开发环境，最开始是在单独编写Map-Reduce程序，然后在命令行编译，再通过hadoop命令运行打好的jar包，虽然也能够运行，但是总感觉这样用起来很麻烦，所以今晚又尝试了直接通过eclipse...
014_HDFS存储架构、架构可靠性分析、副本放置策略、各组件之间的关系
YouxiBug
03-23 1681
1.HDFS存储架构 (1)HDFS 架构 —— 文件 1)文件切分成块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3）2)NameNode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表以及块所在的DataNode等等3)DataNode 在本地文件系统存储文件块数据
027_编写MapReduce的模板类Mapper、Reducer和Driver
YouxiBug
03-23 1340
模板类编写好后写MapReduce程序，的模板类编写好以后只需要改参数就行了，代码如下： 1 package org.dragon.hadoop.mr.module; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import or
017_Map Shuffle Phase详细流程分析
YouxiBug
03-23 1326
一、概述 　　每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据。 二、细致流程分析 1、 在map task执行时，它的输入数据来源于HDFS的block，当然在M
013_HDFS文件合并上传putmarge功能（类似于hadoop fs -getmerge）
YouxiBug
03-23 1316
场景 合并小文件，存放到HDFS上。例如，当需要分析来自许多服务器的Apache日志时，各个日志文件可能比较小，然而Hadoop更合适处理大文件，效率会更高，此时就需要合并分散的文件。如果先将所有文件合并，在复制上传到HDFS上的话，需要占用本地计算机的大量磁盘空间。采取在向HDFS复制上传文件的过程中将小文件进行合并，效果会更好。 开发一个PutMerge程序，用于将合并文件后放入HDFS
011_用eclipse打开hadoop1.2.1源码出现The method getSplits(JobConf, int) is undefined for the type Object错误
YouxiBug
03-23 1272
出现的错误截图： 此时Eclipse使用的jdk1.8，将编译环境改成jdk1.7就行了，解决。 没问题了。 下面观点是参考如下网址，未经验证。参考：http://blog.csdn.net/oneinmore/article/details/45332279 这些都是泛型相关的错误，因此我猜测是eclipse在解析代码时对于泛型都要临时生成一些类，而这些类的生成方法在不同版本
09_Hadoop启动或停止的三种方式及启动脚本
YouxiBug
03-23 1121
1、Hadoop启动或停止 1）第一种方式 分别启动 HDFS 和 MapReduce，命令如下： 启动： $ start-dfs.sh $ start-mapred.sh 停止： $ stop-mapred.sh $ start-dfs.sh 2）第二方式 全部启动或者全部停止 启动：start-all.sh 启动顺序：NameNode、DataNode、Sec
015_[小插曲]看黄老师《炼数成金Hadoop应用开发实战案例》笔记
YouxiBug
03-23 1087
1、大数据金字塔结构    Data Source-->Data Warehouses/Data Marts-->data exploration-->Data Mining-->Data Presentations-->Making Decisions2、从业职位   业务人员、ETL工程师、数据仓库工程师（及时需求）、数据分析师、数据展现设计师、   IT支持人员：运维。程序员、生产线数据管
026_默认的MapReduce Driver（最小驱动问题）
YouxiBug
03-23 1065
1、 最小配置的MapReduce Driver 读取输入文件中的内容，输出到指定目录的输出文件中，此时文件中的内容为： Key---输入文件每行内容的起始位置。 Value---输入文件每行的原始内容。 输出文件中的内容就是：key+\t+value. 1 package org.dragon.hadoop.mapreduce.app.minDriver; 2 3 im
011_Eclipse中使用HDFSFileSystemAPI事例介绍
YouxiBug
03-23 1018
需求 1．文件操作 1）上传本地文件到HDFS 2）读取文件 3）在hadoopfs中新建文件，并写入 4）重命名文件 5）删除hadoopfs上的文件 2．目录操作 1）读取某个目录下的所有文件 2）在hadoopfs上创建目录 3）删除目录 3. HDFS信息 1）查找某个文件在HDFS集群的位置 2）获取HDFS集群上所有节点名称信息 准备工作： 1、新建一
023_数量类型练习——Hadoop MapReduce手机流量统计
YouxiBug
03-23 1014
1） 分析业务需求：用户使用手机上网，存在流量的消耗。流量包括两部分：其一是上行流量（发送消息流量），其二是下行流量（接收消息的流量）。每种流量在网络传输过程中，有两种形式说明：包的大小，流量的大小。使用手机上网，以手机号为唯一标识符，进行记录。有记录，包括很多信息，需要的信息字段。 　　实际需要的字段：     　　手机号码、上行数据包数、下行数据包数、上行总流量、下行总流量。 2）
02_虚拟机的安装和SecureCRT、FileZilla、Xmanage、UltraEdit工具的介绍
YouxiBug
03-23 897
上述几个工具连接不成功的情况，很多时候是因为ssh服务没有安装，CentOS默认安装，不会出现问题，Ubuntu桌面版默认没有安装，需要手动安装，安装部分参考下文SecureCRT部分 一、安装CentOS及配置主机网络 安装CentOS6.4-x64镜像，在网上下载VMWare虚拟机和CentOS镜像，安装不在详述。  安装时注意事项：安装的时候不要选择最小化安装，选择GNO
021_在Eclipse Indigo中安装插件hadoop-eclipse-plugin-1.2.1.jar，直接运行wordcount程序
YouxiBug
03-23 882
1、工具介绍 　Eclipse Idigo、JDK1.7-32bit、hadoop1.2.1、hadoop-eclipse-plugin-1.2.1.jar（自己网上下载） 2、插件安装步骤 　　1）将hadoop-eclipse-plugin-1.2.1.jar放到eclipse安装目录的plugins文件夹中，重新启动eclipse。 　　　　2）打开Window-->Preferen
hadoop学习笔记 hadoop基础知识
最新发布
09-22
Hadoop是一个开源的分布式计算框架，可用于大数据的存储和处理。...总之，对于Hadoop的学习，除了理解其基础知识和工作原理外，还需要熟悉其常用操作和管理技巧，以及灵活运用Hadoop来解决实际的大数据问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值