Hadoop
蜗牛!Destiny
博客已经迁移到www.codeobj.com,感觉写的还不错的童鞋可以到这里继续查看
展开
-
Spark在Windows下的环境搭建
由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spark的安装,Hadoop的下载和配置。为了突出”From Scratch”的特点(都是标题没选好的缘故),所以下面的步骤稍显有些啰嗦,老司机大可不必阅读,直接跳过就好。一.JDK的安装与环境变量的设置...转载 2018-10-12 09:39:57 · 866 阅读 · 0 评论 -
【完全分布式Hadoop】(五)jdk1.8环境安装
1.、下载jdk1.8 有些Centos系统可能已经有openjdk了,但是为了更清晰的了解我们的环境,我们一般采用二进制包,进行环境配置 卸载系统自带的openjdkrpm -e --nodeps `rpm -qa | grep java` CDH官方hadoop2.6版本是推荐使用jdk1.7版本的,但是spark2.2.x开始不再支持jdk1.7。而jdk1.8也是可以向下兼...原创 2018-11-01 13:49:21 · 1074 阅读 · 0 评论 -
【完全分布式Hadoop】(二)HDFS、YARN以及HA高可用概念介绍
一、HDFS-Hadoop分布式文件系统HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分1、Client:就是客户端。1)文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个128M的Block,然...原创 2018-10-30 14:04:40 · 918 阅读 · 1 评论 -
【完全分布式Hadoop】(一)从虚拟机Centos6.5的安装开始
一、虚拟机安装不做过多介绍,自行去某度搜索二、Centos6.5配置关闭防火墙service iptables stop关闭防火墙开机启动chkconfig iptables offwindows中查看VM8的IPv4ipconfig -all1) 记录本机的DNS:2) 记录VM8的IPv4和子网掩码...原创 2018-10-29 23:07:38 · 707 阅读 · 0 评论 -
【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限
搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。对于新手来言,新建用户用户组,并赋予适当的权限无疑是最大的问题。下面请跟随我来新建用户以及用户组并赋予root权限。 在root权限下首先新建用户,建议用adduser命令sudo adduser hadooppasswd hadoop...原创 2018-10-31 11:20:20 · 5163 阅读 · 0 评论 -
【完全分布式Hadoop】(三)集群设置SSH无密码登陆
之前的文章已经有SSH免密部分,这里单独列出来只是为了方便查找打通SSH,设置ssh无密码登陆(所有节点)组建了三个节点的集群DEV2、DEV3、DEV4在所有节点上执行 ssh-keygen -t rsa 一路回车,生成无密码的密钥对。在DEV3中执行:scp ~/.ssh/id_rsa.pub root@DEV2:~/.ssh/rsa3在DEV4中执行:scp ~/.ssh/i...原创 2018-10-31 11:16:52 · 1138 阅读 · 0 评论 -
hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍
一 、core-site.xml<configuration> <!--指定namenode的地址--&原创 2018-10-09 15:56:17 · 35524 阅读 · 5 评论 -
windows下安装并启动hadoop2.7.2
64位windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk,设置了java环境变量。下面把这几步细化贴出来,以hadoop2.7.2为例1、下载hadoop安装包就不细说了:http://hadoop.apache.org/-&转载 2018-10-12 11:20:42 · 494 阅读 · 0 评论 -
【完全分布式Hadoop】(六)MySQL5.7服务端安装,DBA权限设置以及客户端配置
一、 下载MySQL5.7先检查mysql是否已经存在:ps -ef|grep mysqldrpm -qa |grep -i mysql #如果有mysql-lib的rpm先不要卸载查看系统是否有默认安装的mariadb,如果有,和前边的openjdk一样卸载掉rpm -qa | grep mariadbrpm -e --nodeps `rpm -qa | grep mariad...原创 2018-11-02 10:55:57 · 962 阅读 · 0 评论