17-04-03 周一 早上八点 storm学习

zookeeper安装

example sakes

dataDir=/usr/local/src/zookeeper-3.4.5

the port at which the clients will connect

clientPort=2181

server.0=master:8880:7770//8080是内部选主用的
server.1=slave1:8881:7771
server.2=slave2:8882:7772
有两个端口号：
第一：内部集群
第二：外部服务——数据连接

md5sum zoo.cfg

~/.bashrc

zookeeper conf

export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.5

export PATH=$ZOOKEEPER_HOME/bin:$PATH

远程复制

scp -rp xxx 192.168.183.11:/usr/local/src

---

storm安装

配置storm.yaml

1.

master
    kill.sh
    kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep| awk '{print $2}'`

    kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep| awk '{print $2}'`

    kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep| awk '{print $2}'` 


slave1
    kill.sh
    kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`


slave1
    kill.sh
    kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`

2.

python bin/storm nimbus &
python bin/storm ui &
python bin/storm logviewer &

python bin/storm supervisor &
python bin/storm logviewer &

配置zookeeper的地址

storm.zookeeper.servers
    - "master"
    - "slave1"
    - "slave2"

nimbus.host: "master"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
    - 6704
//这里假设每台从节点的机器CPU是5核的
run脚本和kill脚本不一样，在3台机器上

&表示在后台运行

UI端口是8080


tail -f nimbus.log 

note

1.为什么运行bash 说权限不足

在Linux下，你自己编写的脚本需要执行的时候，需要加上执行权限：
chmod +x ./xxx
或把所有权限都加上：
chmod +777 ./xxx
再运行即可

2.解压tgz的压缩包命令tar -xzf

tar [-cxtzjvfpPN] 文件与目录 ….
参数：
-c ：建立一个压缩文件的参数指令(create 的意思)；
-x ：解开一个压缩文件的参数指令！
-t ：查看 tarfile 里面的文件！
特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！
因为不可能同时压缩与解压缩。
-z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？
-j ：是否同时具有 bzip2 的属性？亦即是否需要用 bzip2 压缩？
-v ：压缩的过程中显示文件！这个常用，但不建议用在背景执行过程！
-f ：使用档名，请留意，在 f 之后要立即接档名喔！不要再加参数！
　　　例如使用『 tar -zcvfP tfile sfile』就是错误的写法，要写成
　　　『 tar -zcvPf tfile sfile』才对喔！
-p ：使用原文件的原来属性（属性不会依据使用者而变）
-P ：可以使用绝对路径来压缩！
-N ：比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中！
–exclude FILE：在压缩的过程中，不要将 FILE 打包！

3.vim tips

/*
ctrl+r 反撤销、按一下恢复一下、按u是撤销、一直按u回到你打开这个文件滴最开始状态、且下方有提示！
:set undofile。 undofile(udf)，缺省关闭，局部于缓冲区。设定后，Vim 在把缓冲区写入文件时，自动保存撤销历史到撤销文件。读入文件到缓冲区时，自动恢复撤销历史。*/

//17-04-03 周一 早上八点 storm2