- 博客(62)
- 收藏
- 关注
RSS订阅转载 Hadoop之MapReduce2架构设计
MapReduces2架构设计 hadoop2.x 实现MR2 计算 ,资源作业调度-->YARN Yanr包括了ResourceManager和NodeManager两个服务,也属于Master/Sla...
2018-05-28 23:40:16
160
转载 Hadoop之MapReduce2基础梳理及案例
基础梳理 1.Mapreduce 分布式计算系统 一个分布式运算程序的编程框架也是hadoop的数据分析和应用的核心框架,将用户的业务逻辑代码和自带的默认组件整合一个完整的分布式用程序,并发运行在一个hadoop集群...
2018-05-28 21:59:57
241
转载 MapReduce1架构设计
MapReduces1架构设计 hadoop1.x MR1 (计算+资源作业调度) 存在JobTracker和TaskTracker(map task+reduce task)两个进程，属于主从架构 ...
2018-05-28 21:57:33
113
转载 HDFS之垃圾回收箱配置及使用
HDFS为每个用户创建一个回收站: 目录:/user/用户/.Trash/Current 系统回收站都有一个周期,周期过后hdfs会彻底删除清空,周期内可以恢复 1.HDFS删除文件,无法恢复 [hadoop@had...
2018-05-23 11:42:13
319
转载 Hadoop帮助命令一
[hadoop@hadoop001 /]$ hadoop Usage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run t...
2018-05-22 23:37:07
275
转载 HDFS的PID整理
前言: Linux中可以通过PID找到对相应的进程号和进程目录，ps -ef|grep pid可以单独kill想要的pid;如果生产上想通过shell脚本直接kill `ps -ef|grep 服务名,会把服务下所...
2018-05-22 22:59:30
168
转载 Hadoop之HDFS文件读写流程说明
HDFS文件读写流程说明 一、文件读流程说明 读取操作是对于Cient端是透明操作，感觉是连续的数据流 1、Client 通过FileSystem.open(filePath)方法,去与NameNode进行RP...
2018-05-21 23:29:06
304
转载 Hadoop之HDFS主从架构及说明(一)
HDFS架构设计 -- 主从架构 1.基础介绍 一、HDFS进程 NN 名称节点 (主) DB 数据节点(从) SNN 第二名称节点(check porint) 二、bl...
2018-05-21 22:19:10
1715
转载 CentOS6.5基于Hadoop用户的Yarn伪分布式部署(a Single Node Cluster)
yran on a single node cluster 官网参考: http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/Singl...
2018-05-20 18:06:44
201
转载 Hadoop之JPS命令及真假现象(process information unavailable)
前言: jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有 java 进程 pid 的命令，简单实用，非常适合在 linux/unix 平台上简单察...
2018-05-19 19:00:07
222
转载 CentOS6.5基于Hadoop用户的HDFS伪分布式部署(a Single Node Cluster)
前言: 上一篇博客HDFS伪分布式部署基于管理员root部署成功，但是实际生产中使用 Hadoop 用户操作及配置 官网参考：http://hadoop.apache.org/docs/r2.8.4/hadoop-pr...
2018-05-18 19:33:21
105
转载 CentOS6.5基于ROOT用户的HDFS伪分布式部署(a Single Node Cluster)
hadoop部署 单机 --无进程 伪分布式部署 -- 进程存在+1节点 开发 集群部署 -- 进程存在+n阶段 开发/生产 #hadoop解压 [...
2018-05-15 16:33:45
139
转载 CentOS6.5实现Hadoop_2.8.1编译
CentOS6.5实现Hadoop编译 Hadoop 2.x 三大组件 MapReduce(Others) -- 计算 YARN -- 资源和作...
2018-05-15 15:48:19
122
转载 CentOS6.5实现Hadoop_2.8.1编译及HDFS伪分布式部署
CentOS6.5实现Hadoop编译及HDFS伪分布式部署 Hadoop 2.x 三大组件 MapReduce(Others) -- 计算 YARN -- 资...
2018-05-15 00:06:19
124
转载 转型大数据及操作流程
大数据转型 关系型数据库------------> 大数据平台 数据库：MySQL/Oracle/SQLSERVER------------>HDFS/HBASE/HIVE/KUDU 日志：LOG-----...
2018-05-13 19:08:12
227
转载 CentOS6.5常用命令学习(三)
-- 文件创建及查看 touch xxx.log : 创建文件 mkdir test :创建文件夹 mkdi...
2018-05-10 16:02:04
230
转载 CentOS6.5常用命令学习(二)
-- 家目录 root /root oracle /home/oracle Cd :切换当前目录的home Cd - :切...
2018-05-10 15:25:13
124
转载 CentOS6.5二进制文件安装MySQL5.6.39
CentOS6.5二进制文件安装MySQL5.6.39 准备工作 MySQ二进制安装Lmysql-5.6.39-linux-glibc2.12-x86_64.tar.gz准备(官网下载) 一、检...
2018-05-08 18:09:40
162
转载 SecureCRT使用rz命令上传shell脚本，脚本执行报错！！
今天yum install -y lrzsz 用rz上传本机文件，上传shell 脚本后执行脚本报错提示： 赋予可执行权限 [root@csxf /]# cmhod+x auto_...
2018-05-07 15:46:10
1122
转载 CentOS6.5 tar.gz二进制安装jdk1.7.0_79
新申请华为云机器，二进制文件安装JDK7步骤: 1、检查本机是否安装JDK 2、卸载已安装JDK 查看已安装JDK 包 [root@csxf ...
2018-05-07 14:05:42
132
转载 MySQL-授权用户管理数据库
一、grant 普通 DBA 管理某个 MySQL 数据库的权限。 grant all privileges on dbname todba@'localhost' 其中，关键...
2018-05-03 14:52:51
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人