spark部署，环境搭建

spark部署，环境搭建

 

http://www.linuxidc.com/Linux/2016-01/127003.htm

 

http://blog.csdn.net/u013337889/article/details/48315521

 

http://blog.csdn.net/u013337889/article/details/48315521

 

部署spark：

一：安装hadoop

1.改名

33：master

32：node1

34：node2

2.配置三者互相ssh无密码登陆

3.设置环境变量。配置配置文件

 

 

 

logstash与kafka：

http://blog.csdn.net/jiangpeng59/article/details/53750408

 

 

pgsql安装：

http://www.cnblogs.com/UnGeek/p/5895363.html

 

 

安装psycopg

1. wget  http://initd.org/psycopg/tarballs/PSYCOPG-2-6/psycopg2-2.6.tar.gz
2. tar xf psycopg2-2.6.tar.gz
3. cd psycopg2-2.6
4. yum install -y postgresql-devel*
5. python setup.py build
6. sudo python setup.py install

 

来自 <http://www.linuxyw.com/517.html>

 

 

 

zookeeper：

启动：zkServer.sh start;    关闭：zkServer.sh stop

 

kafka：

启动：

Bin/kafka-server-start.sh ../config/server.properties

 

#创建一个名为logstashtest的topic 

./kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 2 --partitions 1 --topic logstashtest 

 

#启动一个消费终端

./kafka-console-consumer.sh --zookeeper 192.168.1.61:2181 --topiclogstashtest --from-beginning  

 

 

hadoop启动：

bin/hadoop namenode -format    #格式化namenode

sbin/start-dfs.sh              #启动dfs

sbin/start-yarn.sh              #启动yarn

 

spark启动：

sbin/start-all.sh

 

 

 

 

 

*******************************************

Nginx启动:

Cd /usr/local/nginx

Sbin/nginx -c usr/local/nginx/conf/nginx.conf

 

logstash启动：

/wls/wls81/logstash-2.1.0/bin/logstash -f stdin.conf

 

 

Kafka-consumer:

bin/kafka-console-consumer.sh --zookeeper10.59.17.34:2181 --topic hello-kafka

*******************************************

 

 

 

执行文件：

 bin/spark-submit --packages \

org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 \

\wls\wls81\projects\test\kafka_wordcount.py \

10.59.17.34:2181 hello-kafka

 

bin/spark-submit --jars \

jars/spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar \

/wls/wls81/projects/test/kafka_wordcount.py \

10.59.17.34:2181 hello-kafka

 

 

python main.py 10.59.17.34:2181 hello-kafka