spark学习

spark

需要安装的软件：virtual box5.1(vmware)、centos6.5/Ubuntu、jdk1.7、Hadoop2.4.1、hive0.13、zookeeper3.4.5、kafka_2.9.2-0.8.1、spark1.5.1、

secureCRT（命令操作）、WinSCP（上传centos通道上传文件）

网络配置

永久配置centos网络：vi /etc/sysconfig/network-scripts/ifcfg-eth0，

                                        ONBOOT=yes                     启动或重启网络时，

                                        BOOTPROTO=static                将ip地址设置为静态

                                        IPADDR=                                    IP地址

                                        NETMASK=                                子网掩码

                                        GATEWAY=                                 默认网关

注：上述地址具体可在Windows控制台用ipconfig命令查看

                                        service network restart，重启网关

                                        ifconfig 查看是否设置成功

在本地文件/etc/hosts中配置本地ip到host（spark）的映射：vi /etc/hosts,添加以下内容：

                                       192.168.14.33（为spark1静态的IP地址） spark1

                                       192.168.14.33（为spark2静态的IP地址） spark2

                                       192.168.14.33（为spark3静态的IP地址） spark3

在spark1上配置好以后，可以通过scp /etc/hosts root@spark2:/etc/hosts、scp /etc/hosts root@spark3:/etc/hosts分别拷贝到spark2和spark3上面，之后可通过在spark1上ping 通spark2

注：拷贝文件夹时：scp -r /usr/local/p1 root@spark2:/ust/local/

      Ctrl+R可以快速搜索之前输入过的命令

防火墙与DNS配置

关闭防火墙：service iptables stop

                   chkconfig iptables stop    启动时自动关闭

                    vi /etc/selinux/config   SELINUX=disabled

配置DNS服务器：vi /etc/resolv.conf   有nameserver则上步已成功配置

                          nameserver=

                          ping www.baidu.com检查能否上网

配置Windows主机上的hosts文件C:\Windows\System32\drivers\etc\hosts,修改spark1、2、3的地址，随后可在Windows控制台ping通spark1、2、3.

securecrt说明：securecrt可实现在Windows环境下对Linux进行操作，

WinSCP说明：可以在Windows下查看Linux下的文件，可以将windows下的文件上传到Linux

yum配置

修改repo：使用WinSCP，CentOS6-Base-163.repo上传到centos的usr\local目录下，

                cd /etc/yum.repos.d/             

               删除centos的所有源（删除当前目录下所有文件：rm -rf *）

               mv我们的repo到/etc/yum.repos.d/目录下（移动文件到当前目录：mv /usr/local/project .），修改repo文件，将所有gpgcheck属性修改为0.

拷贝文件到当前目录：cp /usr/local/

配置yum：yum clean all               清除之前文件

                yum makecache          设置缓存

                yum install talnet           用yum下载talnet

JDK1.7的安装

1.将jdk-7u60-linux-i586.rpm通过WinSCP上传到虚拟机/usr/local下面

2.rpm -ivh jdk-7u60-linux-i586.rpm

3.配置环境变量

vi .bashrc

export JAVA_HOME=/usr/java/latest

export PATH=$PATH:$JAVA_HOME/bin

source bashrc           使编辑生效

4.检测是否安装成功

java -version

配置SSH集群免密码登录

生成公钥：ssh-keygen -t rsa ，默认将公钥存在/root/.ssh目录下，

将公钥复制为authorized_keys文件：cd /root/.ssh

                                                     cp id_rsa.pubauthorized_keys(单个机器内部拷贝使用cp命令，机器之间使用scp命令)

此时单个机器内部不需要密码，在spark1内部使用ssh spark1试验。

在spark1上ssh-copy-id -i spark2将本机（spark1）的公钥拷贝（添加）到指定机器（spark2）的authorized_keys，此时在spark1上使用ssh spark2，只用输入一次密码即可以在spark1上登录spark2，配置成功。

类似的分别在spark1、spark2、spark3上将本机公钥拷贝到其余机器上之后，即可以实现互通。