上学期间安装 hadoop 和 linux经验

安装 Tomcat

wget   http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.92/bin/apache-tomcat-7.0.92.tar.gz

 

 

 

 

 

 

 

1. JDK

检测Jdk是否安装
java -version

安装文件的路径
cd /usr/local/share/applications

安装jdk
rpm -ivh /usr/local/share/applications/jdk-7u67-linux-x64.rpm

jdk所在位置
/usr/java/jdk1.7.0_67 

找到位置

cat  profile

vim /etc/profile
 
结尾处添加

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

i  键是进入编辑状态

退出
:wq!

让配置文件生效
source /etc/profile

 

安装tomcat

解压到 /usr/local
tar -zxvf apache-tomcat-7.0.92.tar.gz  -C /usr/local/

修改tomcat7
mv /usr/local/apache-tomcat-7.0.92/ /usr/local/tomcat7/

CentOS 7.x开始，CentOS开始使用systemd服务来代替daemon，
原来管理系统启动和管理系统服务的相关命令全部由systemctl命令来代替。
service命令只保留下了极少部分使用，
大部分命令都要改用systemctl使用。
在RHEL 7 / CentOS 7中，firewalld被引入来管理iptables。
个人觉得, firewalld更适合于工作站而不是服务器环境。
可以回到更经典的iptables设置来解决上面的问题

首先停止防火墙

1.systemctl stop firewalld

2.systemctl mask firewalld

然后安装iptables-services

3.yum install iptables-services

设置开机启动防火墙

4.systemctl enable iptables

可以使用下面命令管理iptables

5.systemctl [stop|start|restart] iptables

这时可以保存防火墙规则了

    6.service iptables save
    or
    /usr/libexec/iptables/iptables.init save

 

打开防火墙开端口
iptables -I INPUT -p tcp --dport 8080 -j ACCEPT
service iptables save
service iptables restart

启动服务
sh /usr/local/tomcat7/bin/startup.sh

cd /usr/local/tomcat7/bin/
./startup.sh

停止服务  

 

3.mysql

查看是否安装
rpm -qa|grep mysql

卸载原来的mysql
rpm -ef mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps

自己建造文件夹 mysql
mkdir /usr/local/mysql

解压到
tar -xvf /usr/local/share/applications/MySQL-5.5.40-1.linux2.6.x86_64.rpm-bundle.tar  -C /usr/local/mysql

如果遇到  error: Failed dependencies:  libaio.so.1()(64bit) is needed by MySQL-server-。。。
需要使用依赖包
yum install libaio 

安装服务器
rpm -ivh /usr/local/mysql/MySQL-server-5.5.40-1.linux2.6.x86_64.rpm

安装客户端
rpm -ivh /usr/local/mysql/MySQL-client-5.5.40-1.linux2.6.x86_64.rpm

查看安装   rpm -qa|grep mysql

 

 

 

安装MariaDB之后必须先启动MariaDB才能启动mysqld，其实就是运行一下MariaDB向导，它是个一次性的东东，就是帮助你提高mysql安全性的，详细看这里：http://www.jb51.net/article/47727.htm

总结一下就是运行下面三句就搞定啦：

systemctl start mariadb.service
systemctl enable mariadb.service
mysql_secure_installation

 

启动MySQL
service mysql start

连接Mysql
mysql -u root -p

查看Mysql编码
show variables like 'chara%'

复制 my-samll.cnf 到 /etc 
cp my-small.cnf /etc/my.cnf

进行编写 
vi my.cnf

在 mysqlid 下面添加上 
character_set_server=utf8

重启服务
service mysql restart

改密码
mysqladmin -u root -p password

开端口
iptables -I INPUT -p tcp --dport 3306 -j ACCEPT
service iptables save
service iptables restart

授权
grant all privileges on *.* to root@'%' identified by 'root' with grant option;

刷新授权
flush privileges;

 

svn 安装

 

二年 大数据

创建用户
（1）创建hadoop用户组
    groupadd hadoop
    
（2）创建用户 liuya
    useradd -g hadoop liuya

（3）设置用户的密码
    passwd liuya

（4）为liuya用户添加权限
    chmod 777 /etc/sudoers
    
    gedit /etc/sudoers

    liuya    ALL=(ALL)     ALL

    chmod 440 /etc/sudoers
（5）设置好重启虚拟机
    sudo reboot

安装jdk
（1）运行安装命令
    sudo rpm -ivh jdk-7u67-linux-x64.rpm
    
    查看安装路径
        rpm -qa jdk -l

（2）配置环境变量
    sudo gedit /etc/profile
    
    #JAVA
    export JAVA_HOME=/usr/java/jdk1.7.0_67 
    export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$PATH
    
    source /etc/profile

（3）验证JDK 
    java -version

配置本机SSH免密码登录

（1）生成私钥和公钥文件
    ssh-keygen -t rsa 
    

（2）私钥留在本机，公钥分发给其他的主机    
    ssh-copy-id localhost
    
        
（3）现在可以免密登录
    ssh localhost
    

配置其他主机SSH免密码登录
（1）克隆两台机器
（2）启动三台虚拟机，查看各个主机的IP地址

    ifconfig
    
    192.168.184.132   node1
    192.168.184.133   node2
    192.168.184.134   node3

（3）修改每台主机的 hostname 及 hosts 文件
    sudo gedit /etc/sysconfig/network
    
    sudo gedit /etc/hosts

     ssh-copy-id node3
              
（4）把node1上生成的密钥对，发布到 node2 和 node3
     ssh-copy-id node2
      ssh-copy-id node3

Hadoop完全分布式安装

1、安装 Hadoop    
（1）解压压缩包
    tar -zxvf /mnt/hgfs/Hadoop/hadoop-2.6.0.tar.gz

（2）重命名为 hadoop
    mv hadoop-2.6.0 hadoop

（3）配置hadoop环境变量
    sudo gedit /etc/profile
    
    #hadoop
    export HADOOP_HOME=/home/liuya/hadoop
    export PATH=$HADOOP_HOME/bin:$PATH

    source /etc/profile

2、配置Hadoop
（1）此文件用于指定 JDK 的路径
    gedit hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_67

（2）    gedit yarn-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_67

（3）     gedit slaves
    node2
    node3

（4）     gedit core-site.xml
（5）     gedit hdfs-site.xml

（6） 此文件是MapReduce的配置，可以从模板文件 mapred-site.xml.template中复制
        
    cp mapred-site.xml.template mapred-site.xml

    gedit mapred-site.xml

（7）     gedit yarn-site.xml

（8）将这七个文件复制到其他两个虚拟机的相同目录下
scp -r /home/liuya/hadoop/etc/hadoop  liuya@node2:/home/liuya/hadoop/etc/    

scp -r /home/liuya/hadoop/etc/hadoop liuya@node3:/home/liuya/hadoop/etc/    
    

3、进行验证
（1）在Master主机上 node1 上格式化 NameNode
     hadoop/
     bin/hdfs namenode -format
    
（2）关闭 node1、node2、node3、系统防火墙并重启虚拟机
    service iptables stop
    sudo chkconfig iptables off 
    sudo reboot    

（3）启动 HDFS
    sbin/start-dfs.sh
（4）启动 YARN    
    sbin/start-yarn.sh

（5）查看集群状态
    bin/hdfs dfsadmin -report

（6）在浏览器中查看 HDFS 运行状态 
    http://node1:50070

（7）停止 Hadoop，输入指令
    sbin/stop-all.sh

运行 Hadoop 的WordCount程序
（1）在 /home/liuya/file 目录下创建 file1.txt、file2.txt、可以使用图像界面创建

（2）启动 HDFS 后创建 HDFS 目录 /input2
    
    sbin/start-dfs.sh
    bin/hadoop fs -mkdir /input2

（3）将两个文件保存在 HDFS 中
    bin/hadoop fs -put ~/file/file*.txt /input2
    
（4）进行查看 HDFS 是否存在
    bin/hadoop fs -ls /input2
    
    运行包命令，hadoop jar xxx.jar 来执行 wordCount 程序
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar
    wordcount /input2/ /output2/wordcount1
        
                    

    查看输出目录中的所有结果
    bin/hadoop fa -cat /output2/wordcount1/*

安装 Hadoop 开发环境
    cd ~
    tar -zxvf /mnt/hgfs/Hadoop/eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz
    

安装 Hadoop 插件
    （1）将下载好的插件移动到 Eclipse插件目录 plugins 下，然后重启 Eclipse
    （2）配置 Hadoop 安装目录