![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据集群组件安装
weixin_43283748
这个作者很懒,什么都没留下…
展开
-
kafka的安装
Kafka的安装步骤1、 安装JDK 1.82、 安装zookeeper3、 解压安装包a) tar -zxvf kafka_2.11-1.1.0.tgz4、 修改配置文件a) cd $KAFKA_HOME/configb) vi server.propertiesc) 修改以下内容:broker.id=1 ## 当前集群中的每个 broker 节点的一个唯一编号,每个节点都不一...原创 2018-09-26 11:33:20 · 71 阅读 · 0 评论 -
kafka的shell命令
kafka的 shell 命令启动集群每个节点的进程nohup kafka-server-start.sh /home/hadoop/kafka/kafka_2.11-1.1.0/config/server.properties 1>~/logs/kafka_std.log 2>~/logs/kafka_err.logs &创建kafka的topickafka-t...原创 2018-09-26 11:38:38 · 141 阅读 · 0 评论 -
spark的安装总结
安装容易产生的错误:spark不需要设置环境变量,因为spark在/home/hadoop/spark/spark-2.3.1-bin-hadoop2.7目录下启动sbin/start-all.sh如果设置spark环境变量,直接启动start-all.sh 会启动hadoop的集群spark集群的搭建,进行web ui master 现行aclive worker有几个工作节点,说明s...原创 2018-09-26 11:39:53 · 1013 阅读 · 0 评论 -
spark on yarn部署方案
1.在spark中spark-env.sh添加如下:export HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-2.7.6/etc/hadoop/2.2. 拷贝 yarn-site.xml, hdfs-site.xml, core-site.xml 配置文件到$SPARK_HOME 下,重点是 yarn-site.xml,因为在搭建 spark ha ...原创 2018-09-29 15:32:30 · 1314 阅读 · 0 评论 -
spark整合hive
1.将hive所在的节点的hive-site.xml复制到SPARKHOME/conf目录下2.将复制到SPARK_HOME/conf 目录下2.将复制到SPARKHOME/conf目录下2.将复制到SPARK_HOME/conf 目录下hive-site.xml进行修改,如下hive.metastore.uristhrift://hadoop01:9083我的hive所在节点为ha...原创 2018-09-29 15:50:27 · 423 阅读 · 0 评论 -
influxdb在linux中安装怎么打开web网页
需要在window中,打开chronograf.exe我已文件形式上传原创 2018-10-16 17:32:56 · 1350 阅读 · 0 评论