forever19870418-CSDN博客

原创 yarn上配置kerberos（十二）

一、创建认证规则二、创建Keytab文件三、部署Kerberos Keytab文件四、修改YARN配置文件，包括1）yarn-site.xml2）mapred-site.xml3）container-executor.cfg五、启动服务六、测试实施步骤1、创建认证规则[root@cdh1 training]# kadmin.local -q "a

2017-04-06 15:09:07 3549

原创 HDFS上配置kerberos（十一）

一、创建认证规则二、创建Keytab文件三、部署Kerberos Keytab文件四、修改HDFS配置文件，包括1）core-site.xml2）hdfs-site.xml五、启动namenode六、启动datanode步骤实施1、创建认证规则 [root@cdh1 training]# kadmin.local -q "addprinc -randke

2017-04-01 16:36:31 2628

原创 kerberos集群安装配置（十）

Kerberos集群规划Kerberos安装配置一、安装KDC server二、修改配置文件1）/etc/krb5.conf2）/var/kerberos/krb5kdc/kdc.conf3）/var/kerberos/krb5kdc/kadm5.acl三、同步/etc/krb5.conf到其他服务器四、创建数据库五、启动服务六、创建Kerber

2017-03-31 10:52:32 2719

原创 Hadoop HA + Federation + YARN HA配置实现

集群规划配置步骤一、前提准备1）安装好Hadoop2.0集群《==参考《HA+Federation集群实现（七）》及以前的文章2）安装好zookeeper集群二、修改如下配置文件1） yarn-site.xml2） mapred-site.xml3） yarn-env.sh三、启动服务1）启动HDFS2）启动YAR

2017-03-28 10:29:40 801

原创 Hadoop 1.2.1 伪分布升级到 2.6.0伪分布（八）

Hadoop 1.2.1伪分布式搭建一创建目录mkdir -p /hadoop/hadoop/data/dfs/namemkdir -p /hadoop/hadoop/data/dfs/datamkdir -p /hadoop/tmpchown -R hadoop:root /hadoop二解压hadoop 1.2.1到hadoop[hadoop@hadoo

2017-03-24 16:39:04 744

原创 HA+Federation集群实现（七）

集群规划配置步骤1、core-site.xml1）整合Federation和HA的配置2、hdfs-site.xml1）添加新增节点配置3、启动服务1）zookeeper2）journalnode3）datanode4）namenode5）zkfc实施步骤在原有的ha基础上进行配置，即基于《基于ZK自动切换模式的实现（六）》的基础之上进行

2017-03-24 09:55:20 358

原创基于ZK自动切换模式的实现（六）

配置自动切换模式（1）配置zookeeper集群（2）开启自动切换模式在hdfs-site.xml中配置dfs.ha.automatic-failover.enabled参数（3）配置zookeeper实例在core-site.xml中配置ha.zookeeper.quorum（4）初始化zookeeper（5）启动journalnode，namenode和datano

2017-03-21 15:47:49 689

原创使用QJM构建HDFS HA架构（五）

集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HAQJM的集群实现方式一操作系统的基本配置（可以参考hadoop2.6.0三个节点集群环境搭建（一））二Hadoop的安装（可以参考hadoop2.6.0三个节点集群环境搭建（一））三hdfs-site.xml配置（HA）(1) HD

2017-03-20 15:32:51 378

原创 hadoop2.6.0集群复制因子更改（四）

一、查看当前文件副本个数[hadoop@master hadoop]$ hdfs dfs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.drwxr-xr-x - hadoop supergroup 0 2017-03-16 23:39 /systemdrwxr-xr-x - hadoop sup

2017-03-17 16:25:42 1968

原创 hadoop2.6.0删除集群节点（三）

一、修改master节点hdfs-site.xml，增加dfs.hosts.exclude参数[hadoop@master hadoop]$ vi hdfs-site.xml dfs.hosts.exclude /opt/hadoop/etc/hadoop/excludes

2017-03-17 15:41:55 393

原创 hadoop2.6.0添加集群节点（二）

一、新节点操作系统配置（可以参考hadoop2.6.0三节点集群环境搭建（一））(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) Jdk安装(5) /etc/hosts文件配置防火墙关闭(6) Selinux关闭(7) vm.swappiness参数配置(8) 创建hadoop用户及目录(9) 无密码登入二、更新所有

2017-03-17 14:01:49 905

原创 hadoop2.6.0三个节点集群环境搭建（一）

一、操作系统配置(1) 主机名更改(2) Ip地址配置(3) /etc/hosts文件配置(4) 无密码登入(5) Jdk安装(6) /etc/hosts文件配置防火墙关闭(7) Selinux关闭(8) vm.swappiness参数配置(9) 创建hadoop用户及目录(1)主机名更改：[root@elephant catchup

2017-03-16 16:17:18 989

原创 Spark基础的transformation 和 action的函数操作

Spark基础的transformation和 action的函数操作函数示例：map函数：操作数据集：In [1]: rdd = sc.textFile("file:/home/training/training_materials/data/weblogs/2014-03-15.log")In [3]: rdd.map(lambda x: x

2017-03-15 13:57:33 476

转载 MapReduce工作原理

最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager：是YARN资源控制框架的中心模块

2017-03-15 09:54:18 385

forever19870418的博客