kunjian的博客

千里之行 始于足下

20180611早课记录28-Sqoop

1.sqoop是什么? 主要用于在Hadoop与RDBMS间进行数据的传递 2.sqoop分为哪两个分支,各最新版本是什么? sqoop1:1.4.7 sqoop2:1.99.7 3.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的 导入是RDBMS到Hadoop...

2018-06-11 13:37:21

阅读数:14

评论数:0

20180601早课记录23-Hadoop

1.hdfs是属于什么架构 高可用的分布式架构 2.hdfs部署后进程哪些?按启动顺序说 NameNode,DataNode,SecondaryNameNode 3.一个文件180M,请问实际存储多少,多少块?多少map task?(副本为3) 540M, 6块, 假如文件支持分...

2018-06-01 14:16:02

阅读数:13

评论数:0

20180531早课记录22-Hive

1.hive是什么? 基于Hadoop的一个数据仓库工具 2.hive的默认使用什么数据库?生产上我们一般用什么? 默认使用derby 生产使用MySQL 3.hive的元数据存储在哪? 数据存储在哪? MySQL HDFS 4.hive的SQL语法和什么类似 和My...

2018-05-31 14:41:17

阅读数:13

评论数:0

20180528早课记录19-Hadoop

1.yarn的进程哪两个? NodeManager,ResourceManager 2.rm进程包含哪两个? Applications Master, Resource Scheduler 3.容器什么单词? 是在NM节点上还是RM节点? container, 在NM节点 ...

2018-05-28 10:17:58

阅读数:13

评论数:0

20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么? hystrix 2.jps如果看了信息不可用,我们该怎么做 ps一下进程 进入相应用户下去看 3.hadoop pid默认在哪?哪个变量和参数文件修改 默认在 /tmp 目录下 在hadoop-env.sh参数文件 修改HADOOP_PI...

2018-05-28 10:17:34

阅读数:8

评论数:0

20180524早课记录17-Hadoop

1.MapReduce谈谈你们的理解 执行引擎 计算 2.Map是什么 map:映射函数 3.Reduce是什么 reduce:规约函数 4.shuffle谈谈你们的理解 相当于洗牌 按key进行分组 5.wordcount那副图,脑子是否有印象? 不太深入 ...

2018-05-28 10:17:07

阅读数:12

评论数:0

20180521早课记录14-Hadoop

1.hadoop是什么 狭义: Hadoop软件(HDFS、MapReduce、Yarn) 广义: 以hadoop为主的生态圈 2.hadoop三大组件是什么?分别做什么 HDFS: 分布式文件管理系统 存储 MapReduce: 执行引擎 计算 Yarn: 资源(memory c...

2018-05-21 13:58:27

阅读数:5

评论数:0

【Hadoop】YARN伪分布式部署和MapReduce案例

前言: 前几篇文章 我们介绍了HDFS组件的配置及启动,Yarn是Hadoop集群的资源与作业调度平台,下面介绍下Yarn的伪分布部署及MapReduce简单使用。 1.配置文件及启动 [hadoop@hadoop000 hadoop]$ pwd /opt/software/hado...

2018-05-19 16:18:52

阅读数:10

评论数:0

Hadoop jps正确使用流程及报错处理

简介: jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。 详细参数请参考:https://www.cn...

2018-05-19 16:12:23

阅读数:11

评论数:0

Hadoop用户重新部署HDFS

前言: 在这篇文章中https://www.jianshu.com/p/eeae2f37a48c 我们使用的是root用户来部署的,在生产环境中,一般某个组件是由某个用户来启动的,本篇文章介绍下怎样用hadoop用户来重新部署伪分布式(HDFS) 1.前期准备 创建hadoop用...

2018-05-19 16:11:30

阅读数:6

评论数:0

Hadoop用户配置ssh免密登录

一般生产环境 Hadoop组件都是由hadoop用户来启动,首先需要配置hadoop用户ssh免密登录 1.创建Hadoop用户 [root@hadoop000 ~]# useradd hadoop [root@hadoop000 ~]# id hadoop uid=1102(hado...

2018-05-17 15:12:51

阅读数:9

评论数:0

20180517早课记录12-Hadoop

1.hadoop的广义和狭义的理解 狭义: Hadoop软件(HDFS、MapReduce、Yarn) 广义: 以hadoop为主的生态圈 2.hadoop三大组件是什么?分别是做什么? HDFS: 分布式文件管理系统 存储 MapReduce: 执行引...

2018-05-17 14:22:57

阅读数:7

评论数:0

Hadoop伪分布式部署(HDFS)

环境要求:java、ssh 1.上传并解压tar包 [root@hadoop000 software]# rz #上传hadoop-2.8.1.tar.gz [root@hadoop000 software]# tar -xzvf hadoop-2.8.1.tar.gz 2.配...

2018-05-17 09:28:16

阅读数:5

评论数:0

【Hadoop】Hadoop2.8编译

Hadoop编译步骤: 1.解压Hadoop源码包 [root@hadoop000 ~]# mkdir -p /opt/sourcecode [root@hadoop000 ~]# mkdir -p /opt/software [root@hadoop000 sourcecode]# ...

2018-05-16 16:35:21

阅读数:13

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭