环境的安装 jdk maven hadoop hbase zookeeper kafka flink

环境搭建 
一.jdk1.8

二.scala
    wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
    
三.maven
    wget https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
   修改setting下的 <localRepository>/home/maven_repo</localRepository>
   
四.hadoop
    wget https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0-src.tar.gz
    
    1.ssh-keygen -t rsa
    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    
    etc/hadoop
    
    2.配置hadoop-env.sh java_home
    
    3.配置core-site.xml
        <configuration>
        <!-- 用来指定hdfs的老大（NameNode）的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
          <!-- 用来指定Hadoop运行时产生文件的存放目录,确认目录存在-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop/tmp</value>
        </property>
        </configuration>
    
    4.配置hdfs-site.xml
        <configuration>
        <!-- 指定HDFS保存数据副本数量 -->
          <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        </configuration>
    
    5.配置slave文件 可改可不改
    
    6.namenode格式化   bin目录下执行./hdfs namenode -format
    
    7.配置环境变量后进入sbin启动 ./start-dfs.sh
        出现 jps    NameNode DataNode SecondaryNameNode
        访问50070  hdfs的webui端口
        完成。
        
    8.配置运行在yarn 
        8.1配置文件mapred-site.xml
        <configuration>
    <!-- 告诉hadoop以后MR运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        </configuration>
        
        8.2配置文件yarn-site.xml
        <configuration>

    <!-- Site specific YARN configuration properties -->
    <!-- NodeManager获取数据的方式是shuffle-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>  
    </configuration>
    
        8.3启动yarn 进行sbin ./start-yarn.sh
          jps 多了ResourceManager NodeManager 
         访问8088  hdfs的webui端口
     hadoop搭建完成
     
     9.测试 hdfs hadoop fs -ls /              查看目录
             hadoop fs -mkdir /data     创建目录
             hadoop fs -ls /data          查看目录下的文件
             hadoop fs -put 文件 /data/ 把文件放入目录
             hadoop fs -text /data/文件 查看文件内容 
             
     10.测试yarn 进入share/hadoop/mapreduce 
                这hadoop-mapreduce-examples-2.8.5.jar 里有测试用例
                执行 hadoop jar hadoop-mapreduce-examples-2.8.5.jar pi 2 3
                
五.zookeeper
    修改zoo.cfg dataDir=/var/lib/zookeeper
    启动 bin/./zkServer.sh start 
       jps  出现QuorumPeerMain
六.hbase
    wget https://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz
    
    1.修改conf下的 hbase-env.sh 的两点 
        1.1 java环境地址 
        1.2export HBASE_MANAGES_ZK=false  zookeeper交给它zk自己管理不需要hbase管理
        
    2.修改conf下的 hbase-site.xml
    <configuration>
        ##hbase的根目录，因其数据也是存在hdfs上
        ##localhost:9000/需要和hadoop的core-site一样
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://localhost:9000/hbase</value>
        </property>
        
        ##分布式的
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        
        ##zookeeper地址
        <property>
            <name>hbase.zookeeper.quorum</name>
            <value>localhost:2181</value>
        </property>
    </configuration>
    
    3.修改conf下的 regionservers 和hadoop 5配置一样
    
    4.启动 ./start-hbase.sh
        jps出现HMaster HRegionServer
    
    5.默认的web端口60010
    
    6.使用 ./hbase
           ./hbase shell
           list
           status
        

七.kafka
    1.配置 config/server.properties
        broker.id=0  必须唯一的编码，每个kafka一个篮子    
        listeners     监听端口默认9092
        log.dirs   必须修改  /tmp每次重庆就没了
        num.partitions 分区的数量    
        zookeeper.connect  zookeeper 地址
    
    2.启动
        USAGE: ./kafka-server-start.sh [-daemon] server.properties [--override property=value]    
        ./kafka-server-start.sh $KAFKA_HOME/config/server.properties 

        jps 出现了 kafka
        jps -m
        
    3.创建topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
        创建需要放在zookeper上
    4.查看当前zookeeper上的所有topic   bin/kafka-topics.sh --list --zookeeper localhost:2181
    
    5.发送消息 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
        broker-list 是配置的listenrs端口
        
    6.启动消费者  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
        --from-beginning  表示从头开始消费
    
    
七.spark
 
八.flink
    1.安装  git clone https://github.com/apache/flink.git
            cd flink
            mvn clean package -DskipTests # this will take up to 10 minutes
            cd build-target 
            
    2.启动flink  /bin/start-cluster.sh 
        

    3.执行程序 flink run -c com.hong.flink.flink_hbase /home/flink-0.0.1-SNAPSHOT.jar