强悍de巨人

也许生于世上,无重要作为,仍有这份积累会留下......

【若泽大数据实战第十五天】HDFS编程 IDEA创建一个Maven的scala的模板工程

前言:从本次课程正式加入到编程的行列中来,以前编程的经验不多,通过此次学习希望可以获得更多的收获。Hadoop编程创建一个Maven的scala的模板工程新的项目对Maven进行设置选择 scala-tools填写信息修改路径修改项目名称和项目路径,点击【确定】复制代码内容拷贝文件到 IDEA上这...

2018-05-30 19:33:00

阅读数:151

评论数:0

【若泽大数据实战第十五天】IntelliJ IDEA 2017.3.2 永久破解版安装 + Maven安装

前言:从本次课程正式加入到编程的行列中来,以前编程的经验不多,通过此次学习希望可以获得更多的收获。

2018-05-30 15:40:22

阅读数:145

评论数:0

【若泽大数据实战第十四天】YARN 生产详解

前言:上节课我们讲了 MR job的提交Yarn的工作流程Yarn的工作流程MR架构设计Yarn(主从) 资源  + 作业调度管理Yarn:是一种新的 Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了...

2018-05-29 16:21:32

阅读数:184

评论数:0

【若泽大数据实战第十五天】关于HDFS、YARN及MapReduce的总结

前言:有很多小伙伴对这几个东西的概念有些模糊,这里我做一个总结,希望大家能一篇看懂。一、HDFSHDFS是分布式文件系统,有高容错性的特点,可以部署在价格低廉的服务器上,主要包含namenode和datanode。Namenode是hdfs中文件目录和文件分配管理者,它保存着文件名和数据块的映射管...

2018-05-27 22:12:51

阅读数:110

评论数:0

【QQ猴实战】大数据早课-day9-2018-5-13

1.排序语法,默认是降序吗2.限制多少行语法3.分组函数有哪些4.分组语法是什么5.分组语法的注意点是什么6.join有哪几种7.left join是哪个表数据全8.union 和union all 区别是什么9.谈谈你们觉得什么是子表10.模糊查询名称name的有s字符的名称有哪些?11.lik...

2018-05-27 08:41:30

阅读数:58

评论数:0

【若泽大数据实战第十三天】MapReduce 详解

前言:上几次的课程围绕着 HDFS详细说了如何读和写的流程,本次课程主要讲MapReduce,我将梳理整套课程的,总结上次课的补充:学会看hadoop的日志:首先找到日志的目录,往下看有好多好多的日志,是不是纠结要看哪一个?请记住找log日志要找.log结尾的,以下红色字体对应每个单词的位置信息。...

2018-05-25 16:30:32

阅读数:144

评论数:0

【若泽大数据实战第十二天】HDFS HA的 一些补充 【转】

HDFS的基本结构如上图所示,HDFS基本结构分NameNode、SecondaryNameNode、DataNode这几个。NameNode:是Master节点,有点类似Linux里的根目录。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间;SecondaryNameN...

2018-05-23 16:38:29

阅读数:206

评论数:0

【若泽大数据实战第十二天】HDFS课程 读流程-写流程

前言:上期课程J哥给我们讲了很多有关于HDFS内部的namenode,datanode,secondary的各种分析,下面的课程涉及到了读流程和写流程。我也将详细的梳理清楚。HDFS写流程1.文件写流程 --> FSDataOutputStream (面试题)1.1 Clie...

2018-05-23 09:38:50

阅读数:121

评论数:0

【若泽大数据实战第十一天】HDFS启动过程详解

前言:整理HDFS整个启动的详细过程Namenode保存文件系统元数据镜像,namenode在内存及磁盘(fsimage和editslog)上分别存在一份元数据镜像文件,内存中元数据镜像保证了hdfs文件系统文件访问效率,磁盘上的元数据镜像保证了hdfs文件系统的安全性。namenode在磁盘上的...

2018-05-21 20:08:36

阅读数:156

评论数:0

【若泽大数据实战第十一天】Hadoop生态系统官网、下载地址、文档

Apache版本: Hadoop官网:http://hadoop.apache.org/Hadoop下载:http://mirror.bit.edu.cn/apache/hadoop/common/Hadoop历史版本下载:http://archive.apache.org/dist/hadoop...

2018-05-21 16:44:09

阅读数:95

评论数:0

【若泽大数据实战第十一天】HDFS课程 - 副本数 Block Namenode、datanode、、SecondaryNameNode

前言:我把kafka的前置课程写完了,对kafka有了一定的了解,接下去我将把HDFS的课程写的详细一些。1.HDFS进程NameNode(NN):名称节点  ->   client第一个操作的对象DataNode(DN):数据节点    --> 存储数...

2018-05-20 18:25:58

阅读数:269

评论数:0

【若泽大数据实战第十一天】Kafka(前置课彩蛋)

前言:HDFS在上几次课程中最多用的就是 ./start-dfs.sh 启动命令 或者 格式化 hdfs namenode -format,今天课程有个小小的彩蛋,讲了一些关于kafka的内容,我将相关的kafka的信息自己做了一些补充Kafka 消息系统app ----->...

2018-05-20 15:17:05

阅读数:209

评论数:0

【若泽大数据实战第十一天】HDFS详解

前言:网上摘录的一些 hdfs的信息。1. HDFS优缺点1.1 优点1.1.1高容错性可以由数百或数千个服务器机器组成,每个服务器机器存储文件系统数据的一部分;数据自动保存多个副本;副本丢失后检测故障快速,自动恢复。1.1.2适合批处理移动计算而非数据;数据位置暴露给计算框架;数据访问的高吞吐量...

2018-05-20 10:19:56

阅读数:203

评论数:0

【若泽大数据实战第十一天】HDFS文件的读写操作剖析

前言:对于HDFS文件的读写解析,我总结了一下的一些概念一、HDFS的一些基本概念: 数据块(block):大文件会被分割成多个block进行存储,block大小默认为64MB。每一个block会在多个datanode上存储多份副本,默认是3份。namenode:namenode负责管理文件目录、...

2018-05-20 10:17:32

阅读数:81

评论数:0

【若泽大数据实战第十一天】HDFS命令操作

前言:刚刚本次课程J哥讲了HDFS,为了对HDFS有更多的理解,我查阅整理下看看有哪些命令,我再进行试验操作一次命令基本格式:hadoop fs -cmd < args >11.lshadoop fs -ls /1列出hdfs文件系统根目录下的目录和文...

2018-05-20 10:16:11

阅读数:74

评论数:0

【若泽大数据实战第十天】Hadoop 伪分布式部署(MapReduce+Yarn) -- 时间戳概念

前言:前面的阶段J哥讲了jps hdfs,接下来,学一学yarn的配置首先打开官网可以看到一些有关于yarn的信息官网地址:http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/SingleCluster.ht...

2018-05-18 16:40:19

阅读数:230

评论数:0

【若泽大数据实战第十天】Hadoop 参数

前言:Hadoop三个参数文件,我不是很理解,我网上找了一篇学习下      配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能...

2018-05-17 23:43:16

阅读数:165

评论数:0

【若泽大数据实战第十天】Hadoop jps 详解 - jps报27342 -- process information unavailable

Haoop jps 详解jps最主要的功能使查看java接口的进程号jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有 java 进程 pid 的命令,简单实用,非常适合在 linux/unix 平台上简单察看当前jav...

2018-05-17 18:09:29

阅读数:250

评论数:0

【若泽大数据实战第十天】Hadoop用户重新部署伪分布式(HDFS)

前言:上次课我们部署的使用的root用户,在生产环境中,不可能给你root用户,我们就创建一个hadoop用户来部署Hadoop用户重新部署hdfs步骤1.创建Hadoop用户# useradd hadoop # id hadoop# passwd haddop # vi /etc/sudoers...

2018-05-17 18:06:07

阅读数:101

评论数:0

【若泽大数据实战第十天】Hadoop用户启动hdf三个进程

前言:再上次的课程中我们配置了root用户来启动了hdfs,hdfs-site.xml内的参数都是官方默认的参数,所以启动项没有整理比较乱,为了做生产标准统一规范使用,我要用hadoop用户启动hdfs进程的启动显示全部为hadoop-01的主机名,先看看root用户下启动的情况可以看到namen...

2018-05-17 13:42:38

阅读数:141

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭