linux整理大数据配置环境跟启动命令

最新推荐文章于 2024-04-11 17:34:11 发布

Lord_zang

最新推荐文章于 2024-04-11 17:34:11 发布

阅读量143

点赞数

本文链接：https://blog.csdn.net/Lord_zang/article/details/103279167

版权

配置自己多台
vi /etc/profile
export JAVA_HOME=/home/hadoop/app/jdk
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export HIVE_HOME=/home/hadoop/app/hive-0.12.0
export ZK_HOME=/home/hadoop/app/zookeeper-3.4.5
export KAFKA_HOME=/home/hadoop/app/kafka_2.11-0.11.0.2
export STORM_HOME=/home/hadoop/app/apache-storm-0.9.2-incubating
export FLUME_HOME=/home/hadoop/app/apache-flume-1.9.0-bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$STORM_HOME/bin:$FLUME_HOME/bin

重新加载环境
source /etc/profile

启动zk：
分布式都要起（所有机子）
zkServer.sh start

启动kafka
也是所有
kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.11.0.2/config/server.properties

启动storm
主机
storm nimbus （如果失败就删掉hadoop/app/apache-storm-0.9.2-incubating/bin/storm-local 里的文件）

从机
storm supervisor （如果失败就删掉hadoop/app/apache-storm-0.9.2-incubating/bin/storm-local 里的文件）

启动flume
主机

flume-ng agent --conf conf --conf-file /home/hadoop/app/apache-flume-1.9.0-bin/conf/ks.conf --name a1    (ks.conf 为自己的conf文件名，具体配置在你的conf下，代码也有写) 
创建一个dsj03的主题
kafka-topics.sh --create --zookeeper zjgm01:2181 --replication-factor 3 --partitions 1 --topic dsj03