大数据软件安装

最新推荐文章于 2023-10-28 20:58:05 发布
最新推荐文章于 2023-10-28 20:58:05 发布
阅读量217 收藏
点赞数 4
分类专栏： 大数据-软件安装 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoqing2017/article/details/111995024
版权
  • List item
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local

截止kafka的学习的软件的集群搭建

​ 两个月左右的学习时间，快速学习了很多软件的使用及原理，但是没有真正搭建过完整的集群。现在是一个阶段的结束，要有一个实战项目了，趁着这个空，搭建一下高可用集群。

​ 学习的顺序是按照hadoop->hive->hue->hbase->zookeeper->redis->kafka，但是高可用的集群需要依赖zookeeper,而且kafka和redis与hadoop体系是相对独立的，所以这里先搭建zookeeper+kafka+redis。然后搭建hadoop的体系系统。

​ 这里选用的zookeeper版本为：3.5.8、kafka的版本为:kafka_2.12-2.4.1,选择redis的版本为： redis-5.0.5

zookeeper的集群搭建

  1. 解压zookeeper压缩包

  2. 创建zookeeper需要的目录

    ##创建zookeeper保存数据的目录和日志目录
mkdir /opt/zookeeper/data
mkdir /opt/zookeeper/data/logs

  3. 复制并修改zookeepr配置文件

     #复制配置文件
 cp /opt/zookeeper/conf/zoo_sample.cfg /opt/zookeeper/conf/zoo.cfg

  4. 修改配置文件

    #更新datadir
dataDir=/opt/zookeeper/data
#增加logdir
dataLogDir=/opt/zookeeper/data/logs
#增加集群配置
##server.服务器ID=服务器IP地址：服务器之间通信端⼝：服务器之间投票选举端⼝
server.1=master:2888:3888
server.2=slave0:2888:3888
server.3=slave2:2888:3888
#打开注释
#ZK提供了⾃动清理事务⽇志和快照⽂件的功能，这个参数指定了清理频率，单位是⼩时
autopurge.purgeInterval=1

  5. 添加myid配置

    在zookeeper的data目录下创建一个myid文件，内容为1，该文件是记录每个服务器的ID

    cd /opt/zookeeper/data
echo 1 > myid

  6. 分发安装包

    scp -r zookeeper slave0:/opt/
scp -r zookeeper slave2:/opt/
##或
rsync -av zookeeper slave0:/opt/
rsync -av zookeeper slave2:/opt/

  7. 修改slave0和slave2的myid值

    ##slave0
echo 2 > /opt/zookeeper/data/myid
## slave2
echo 3 > /opt/zookeeper/data/myid

  8. 修改环境变量

    export JAVA_HOME=/opt/jdk8
export KAFKA_HOME=/opt/kafka
export ZOOKEEPER_HOME=/opt/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin

  9. 使用如下脚本启动zookeeper

    #!/bin/sh
echo "start zookeeper server..."
if(($#==0));then
echo "no params";
exit;
fi
hosts="master slave0 slave2"
for host in $hosts
do
ssh $host "source /etc/profile; /opt/zookeeper/bin/zkServer.sh $1"
done

    ./zk.sh start

  10. 使用如下命令查看启动状态

    ./zk.sh status

    如下图启动成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9cAR77fi-1609320208171)(/Users/dengguoqing/IdeaProjects/lagou/image-20200824101548760.png)]

kafka集群搭建

  1. 解压kafka包

    tar /opt/kafka_2.12-2.4.1.tgz

  2. 修改配置文件，并使其生效

    # 配置环境变量，三台Linux都要配置
vim /etc/profile
# 添加以下内容：
export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

  3. 修改kafka配置文件server.properties

    vim /opt/kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://:9092
##其他机器，修改机器名
advertised.listeners=PLAINTEXT://master:9092
log.dirs=/var/kafka/kafka-logs
zookeeper.connect=master:2181,slave0:2181,slave2:2181/kafka

  4. 通过启动命令，启动kafka

    kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

  5. 启动脚本

    #!/bin/sh
echo "start kafka server..."
hosts="master slave0 slave2"
for host in $hosts
do
ssh $host "source /etc/profile; kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
done
hadoop集群搭建

  1. 解压hadoop，这里hadoop版本为2.9.2

    tar -zxvf hadoop-2.9.2.tar.gz
  2. hdfs集群配置

    1. 修改hadoop-env.sh

      vim hadoop-env.sh	
export JAVA_HOME=/opt/java8

    2. 指定namenode节点以及数据存储目录

      vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop运⾏时产⽣⽂件的存储⽬录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.9.2/data</value>
</property>

    3. 指定secondaryNamenode节点

      vim hdfs-site.xml	

      <!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave0:50090</value>
</property>
<!--副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

    4. 指定datanode从节点

      vim slaves

master
slave0
slave2
  3. mapReduce集群配置

    1. 指定MapReduce使⽤的jdk路径（修改mapred-env.sh）

      
export JAVA_HOME=/opt/jdk8

  4. 指定MapReduce计算框架运⾏Yarn资源调度框架(修改mapred-site.xml)

       cp mapred-site.xml.template mapred-site.xml
   vim mapred-site.xml

       <!-- 指定MR运⾏在Yarn上 -->
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>
  5. YARN集群配置

    1. 指定JDK路径

      vim yarn-env.sh
export JAVA_HOME=/opt/java8

    2. 指定ResourceMnager的master节点信息(修改yarn-site.xml)

      vim yarn-site.xml

      <!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- Reducer获取数据的⽅式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
  6. 配置历史服务器

    1. 配置mapred-site.xml

      <property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

  7. 开启日志汇集功能

    1. 配置yarn-site.xml

      <!-- ⽇志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- ⽇志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

    2. 配置完成的yarn-site.xml

    <configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <!-- Reducer获取数据的⽅式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- ⽇志聚集功能使能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- ⽇志保留时间设置7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
        <description>是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true</description>
    </property>
    <property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx1024m</value>
    </property>
</configuration>

  8. 配置环境变量

    vim /etc/profile

export HADOOP_HOME=/opt/software/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


source /etc/profile

  9. 通过启动命令启动hdfs以及yarn

    #第一次启动hdfs需要执行
hadoop namenode -format


####

start-dfs.sh
start-yarn.sh	
##启动历史服务器
mr-jobhistory-daemon.sh start historyserver
hive的集群安装

  1. 下载Hive软件，并解压缩

    cd /opt
tar zxvf apache-hive-2.3.7-bin.tar.gz
mv apache-hive-2.3.7-bin hive

  2. 修改环境变量

    # 在 /etc/profile 文件中增加环境变量
export HIVE_HOME=/opt/software/hive
export PATH=$PATH:$HIVE_HOME/bin
# 执行并生效
source /etc/profile

  3. 修改hive配置

    vi hive-site.xml

    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- hive元数据的存储位置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://master:3306/hive?
		createDatabaseIfNotExist=true&amp;useSSL=false</value>
		<description>JDBC connect string for a JDBC metastore</description>
	</property>
	<!-- 指定驱动程序 -->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property>

	<!-- 连接数据库的用户名 -->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
		<description>username to use against metastore database</description>
	</property>

  	<!-- 连接数据库的口令 -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>12345678</value>
		<description>password to use against metastore
		database</description>
	</property>
	<property>
  		<!-- 数据默认的存储位置(HDFS) -->
  		<name>hive.metastore.warehouse.dir</name>
  		<value>/user/hive/warehouse</value>
  		<description>location of default database for the warehouse</description>
	</property>
	<property>
  		<!-- 在命令行中，显示当前操作的数据库 -->
  		<name>hive.cli.print.current.db</name>
  		<value>true</value>
  		<description>Whether to include the current database in the Hive prompt.</description>
	</property>
	<property>
    	<name>hive.server2.thrift.client.user</name>
    	<value>root</value>
    	<description>Username to use against thrift client</description>
  	</property>
  	<property>
    	<name>hive.server2.thrift.client.password</name>
    	<value>12345678</value>
    	<description>Password to use against thrift client</description>
  	</property>
</configuration>

    #初始化hive元数据
schematool -dbType mysql -initSchema

  4. hiveServer2配置

    1. 修改集群上的 core-site.xml，增加如下内容

      <!-- HiveServer2 连不上10000；hadoop为安装用户 -->
<!-- root用户可以代理所有主机上的所有用户 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

    2. 修改 集群上的 hdfs-site.xml，增加以下内容：

      <!-- HiveServer2 连不上10000；启用 webhdfs 服务 -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

    3. 远程配置，在三个机器同步hive配置

      nohup hive --service metastore &

    4. 修改 slave0 上hive-site.xml。删除配置文件中：MySQL的配置、连接数据库
      的用户名、口令等信息；增加连接metastore的配置：

    <!-- hive metastore 服务地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083,thrift://slave2:9083</value>
</property>

  5. 启动hiveserver2的命令

    nohup hiveserver2 &
##这样就可以通过idea连接了
HBase安装配置

  1. 解压habse并修改文件夹名称

    tar -zxvf hbase-1.3.1-bin.tar.gz
mv hbase-1.3.1 hbase
    • 配置hbase的环境变量
    export HBASE_HOME=/opt/hbase-1.2.1
export PATH=$PATH:$HBASE_HOME/bin

  2. 修改配置文件，需要把hadoop中的配置core-site.xml 、 hdfs-site.xml拷⻉到hbase安装⽬录下的conf⽂件夹中。这里通过软连接的方式实现

    ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml

  3. 修改conf目录下的文件

    • 修改 hbase-env.sh

      #添加java环境变量
export JAVA_HOME=/opt/java8
#指定使⽤外部的zk集群
export HBASE_MANAGES_ZK=FALSE

    • 修改 hbase-site.xml

      <configuration>
	<!-- 指定hbase在HDFS上存储的路径 -->
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://master:9000/hbase</value>
	</property>
	<!-- 指定hbase是分布式的 -->
	
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<!-- 指定zk的地址，多个⽤“,”分割 -->
	
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>master,slave0,slave2</value>
	</property>
</configuration>

    • 修改regionservers文件

      master
slave0
slave2

  4. 启动Hbase

    ## 前提条件：先启动hadoop和zk集群
##启动HBase：
start-hbase.sh
##停⽌HBase：
stop-hbase.sh

    启动好HBase集群之后，可以访问地址： HMaster的主机名:16010

Tez的配置

  1. 解压文件apache-tez-0.9.0-bin.tar.gz

    tar -zxvf apache-tez-0.9.2-bin.tar.gz -C /opt/software
cd /opt/software
mv apache-tez-0.9.2-bin tez
    1. 将tez的压缩包放到hdfs上
    cd /opt/software/tez/share
hdfs dfs -mkdir -p /user/tez
hdfs dfs -put tez.tar.gz /user/tez
    1. $HADOOP_HOME/etc/hadoop/ 下创建 tez-site.xml 文件，做如下配置
    <?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- 指定在hdfs上的tez包文件 -->
<property>
<name>tez.lib.uris</name>
<value>hdfs://master:9000/user/tez/tez.tar.gz</value>
</property>
</configuration>

    将配置分发到所有节点

    1. 增加客户端节点的配置(/etc/profile)
    export TEZ_CONF_DIR=$HADOOP_CONF_DIR
export TEZ_JARS=/opt/software/tez/*:/opt/software/tez/lib/*
export HADOOP_CLASSPATH=$TEZ_CONF_DIR:$TEZ_JARS:$HADOOP_CLASSPATH
    1. Hive设置TEZ执行
    hive> set hive.execution.engine=tez；
    1. 如果想默认使用Tez，可在$HIVE_HOME/conf目录下hive-site.xml 中增加
    <property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>
Spark安装

  1. 下载软件解压缩，移动到指定位置

    cd /opt/software/
tar -zxvf spark-2.4.5-bin-without-hadoop.tgz -C ../
mv spark-2.4.5-bin-without-hadoop spark-2.4.5

  2. 设置环境变量

    vi /etc/profile
export SPARK_HOME=/opt/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
source /etc/profile

  3. 修改配置

    文件位置：$SPARK_HOME/conf

    修改文件：slaves、spark-defaults.conf、spark-env.sh、log4j.properties

    Slaves

    master
slave0
slave2

    Spark-defaults.conf

    spark.master spark://master:7077
spark.  .enabled true
spark.eventLog.dir hdfs://master:9000/sparkeventlog
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 512m
spark.yarn.jars hdfs:///spark-yarn/jars/*.jar
spark.yarn.historyServer.address master:18080
spark.history.ui.port 18080

    创建HDFS目录：hdfs dfs -mkdir /spark-eventlog

    备注：

    spark.master。定义master节点，缺省端口号 7077
    spark.eventLog.enabled。开启eventLog
    spark.eventLog.dir。eventLog的存放位置
    spark.serializer。一个高效的序列化器
    spark.driver.memory。定义driver内存的大小（缺省1G

    修改spark-env.sh

    export JAVA_HOME=/opt/jdk8
export HADOOP_HOME=/opt/hadoop-2.9.2
export HADOOP_CONF_DIR=/opt/hadoop-2.9.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

  4. 将Spark软件分发到集群；修改其他节点上的环境变量

    cd /opt/
scp -r spark-2.4.5/ slave0:$PWD
scp -r spark-2.4.5/ slave2:$PWD

  5. 启动集群

    cd $SPARK_HOME/sbin
./start-all.sh

以上模式为standAlone模式的部署

history server
# spark-defaults.conf
# history server
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/spark-eventlog
spark.eventLog.compress true
# spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -
Dspark.history.retainedApplications=50 
-Dspark.history.fs.logDirectory=hdfs://master:9000/sparkeventlog"
Flink的安装
standalone模式安装
Kylin安装
依赖环境
软件版本
Hive2.3.7
Hadoop2.9.2
Hbase1.1.2
Zookeeper3.4.14
Kafka1.0.2
Spark2.4.5
kylin的安装配置

  1. 解压缩软件

    cd /opt/software
tar -zxvf apache-kylin-3.1.1-bin-hbase1x.tar.gz -C ../
mv apache-kylin-3.1.1-bin-hbase1x kylin-3.1.1

  2. 添加环境变量

    vi /etc/profile
# 增加以下内容
export KYLIN_HOME=/opt/kylin-3.1.1
export PATH=$PATH:$KYLIN_HOME/bin
source /etc/profile

  3. 增加kylin依赖组件的配置

    cd $KYLIN_HOME/conf
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xml
ln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml
ln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf

  4. 修改kylin.sh

    cd $KYLIN_HOME/bin
vim kylin.sh
# 在 kylin.sh 文件头部添加
export HADOOP_HOME=/opt/hadoop-2.9.2
export HIVE_HOME=/opt/hive-2.3.7
export HBASE_HOME=/opt/hbase-1.1.2
export SPARK_HOME=/opt/spark-2.4.5
druid的安装
  1. 下载druid,并解压
    cd /opt/software
wget https://mirrors.tuna.tsinghua.edu.cn/apache/druid/0.19.0/apache-druid-0.19.0-bin.tar.gz
tar -zxvf apache-druid-0.19.0-bin.tar.gz -C ../

cd ../
mv apache-druid-0.19.0 druid-0.19.0
  2. 设置环境变量
    vim /etc/profile
# 在文件中增加以下内容
export DRUID_HOME=/opt/druid-0.19.0
export PATH=$PATH:$DRUID_HOME/bin
  3. MySql中创建响应的数据库
    CREATE DATABASE druid DEFAULT CHARACTER SET utf8mb4;
CREATE USER 'druid'@'%' IDENTIFIED BY '12345678';
GRANT ALL PRIVILEGES ON druid.* TO 'druid'@'%';
  4. 配置Druid参数

    1. 将hadoop配置文件core-hdfs.xml,hdfs-site.xml,yarn-site.xml,mapred.xml链接到conf/druid/cluster/_common下

      cd $DRUID_HOME/conf/druid/cluster/_common
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/yarn-site.xml yarn-site.xml
ln -s $HADOOP_HOME/etc/hadoop/mapred-site.xml mapred-site.xml

    2. 配置mysql驱动程序

      ln -s $HIVE_HOME/lib/mysql-connector-java-5.1.46.jar mysql-connector-java-5.1.46.jar

    3. 修改配置文件（$DRUID_HOME/conf/druid/cluster/_common/common.runtime.properties）

      # 增加"mysql-metadata-storage"
druid.extensions.loadList=["mysql-metadata-storage", "druid-hdfs-storage", "druid-kafkaindexing-service", "druid-datasketches"]
# 每台机器写自己的ip或hostname
druid.host=master
# 填写zk地址
druid.zk.service.host=master:2181,salve0:2181,slave2:2181
druid.zk.paths.base=/druid

# 注释掉前面 derby 的配置
# 增加 mysql 的配置
druid.metadata.storage.type=mysql
druid.metadata.storage.connector.connectURI=jdbc:mysql://slave1:3306/druid
druid.metadata.storage.connector.user=druid
druid.metadata.storage.connector.password=12345678

# 注释掉local的配置
# 增加HDFS的配置，即使用HDFS作为深度存储
druid.storage.type=hdfs
druid.storage.storageDirectory=/druid/segments

# 注释掉 indexer.logs For local disk的配置
# 增加 indexer.logs For HDFS 的配置
druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=/druid/indexing-logs

    4. 配置主节点文件（参数大小根据实际情况配置）

      $DRUID_HOME/conf/druid/cluster/master/coordinator-overlord/jvm.config

      -server
-Xms512m
-Xmx512m
-XX:+ExitOnOutOfMemoryError
-XX:+UseG1GC
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

    5. 配置数据节点文件(参数大小根据实际情况配置)

      $DRUID_HOME/conf/druid/cluster/data/historical/jvm.config

      -server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=1g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

    6. 修改文件$DRUID_HOME/conf/druid/cluster/data/historical/runtime.properties

      # 修改这一个参数
druid.processing.buffer.sizeBytes=50000000

      备注：druid.processing.buffer.sizeBytes 每个查询用于聚合的堆外哈希表的大小
      maxDirectMemory= druid.processing.buffer.sizeBytes * (druid.processing.numMergeBuffers +
      druid.processing.numThreads + 1)
      如果 druid.processing.buffer.sizeBytes 太大，那么需要加大maxDirectMemory，否则 historical 服务无法启动

    7. 修改文件$DRUID_HOME/conf/druid/cluster/data/middleManager/jvm.config

      -server
-Xms128m
-Xmx128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

    8. 配置查询节点文件（参数大小根据实际情况配置）$DRUID_HOME/conf/druid/cluster/query/broker/jvm.config

      -server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=512m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

      $DRUID_HOME/conf/druid/cluster/query/broker/runtime.properties

      # 修改这一个参数
druid.processing.buffer.sizeBytes=50000000

      备注：
      druid.processing.buffer.sizeBytes 每个查询用于聚合的堆外哈希表的大小
      maxDirectMemory = druid.processing.buffer.sizeBytes*(druid.processing.numMergeBuffers +
      druid.processing.numThreads + 1)
      如果 druid.processing.buffer.sizeBytes 太大，那么需要加大maxDirectMemory，否则 broker 服务无法启动

      $DRUID_HOME/conf/druid/cluster/query/router/jvm.config

      -server
-Xms128m
-Xmx128m
-XX:+UseG1GC
-XX:MaxDirectMemorySize=128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

      小结：各服务 JVM 内存分配设置如下：
      coordinator-overlord，512m
      historical，512m、堆外1g
      middleManager，128m
      broker，512m、堆外 512m
      router，128m、堆外 128m

  5. 分发并启动服务

    1. 向slave0、slave2

      scp -r druid-0.19.0/ slave0:$PWD
scp -r druid-0.19.0/ slave2:$PWD

    2. 在master节点启动服务

      nohup start-cluster-master-no-zk-server &
guoqing2017
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
SS00017.olap——|Hadoop&OLAP数据库管理系统.v17|——|Kylin.v08|Kylin部署配置|
yanqi_vip
04-18 593
一、Kylin安装环境准备：依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS NameNode ✔ ...
SS00011.olap——|Hadoop&OLAP数据库管理系统.v11|——|Kylin.v02|HBase集群部署|
yanqi_vip
04-17 191
一、HBase集群安装部署 ### --- 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### --- 解压安装包到指定的规划目录 [root@hadoop01 softwar...
Hadoop在线分析处理(OLAP)
weixin_33884611的博客
08-06 169
数据处理与联机分析处理 ( OLAP )         联机分析处理是那些为了支持商业智能，报表和数据挖掘与探索等业务而开展的工作。这类工作的样例有零售商按地区和季度两个维度计算门店销售额，银行按语言和月份两个维度计算手机银行装机量，设备制造商定位有哪些零部件的故障率比期望值高。以及医院研究有哪些事件会引起高危婴儿紧张等。        假设原始数据来源于 OLTP 系统...
CC00004.druid——|Hadoop&OLAP_Druid.V04|——|Druid.v04|部署|集群部署|
yanqi_vip
04-14 126
一、集群部署 ### --- 环境资源说明 ~~~ 虚拟机每个节点2core、3G ~~~ DeepStorage：Hadoop 2.9.2 ### --- 部署规划：集群部署采用的分配如下 ~~~ 主节点部署 Coordinator 和 Overlord进程 ~~~ 数据节点运行 Historical 和 MiddleManager进程 ~~~...
大数据常用软件安装指南
08-09
大数据常用软件安装指南
大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南
08-05
大数据常用软件安装指南 包括Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习 Hadoop 分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce 集群资源管理器 —— ...
apache ambari 大数据安装工具
10-17
创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈(例如 Hive，Hbase，Sqoop，Zookeeper ...用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
华为大数据平台 Module 13 FusionInsight 安装部署 v1.0.pdf
08-13
2. **软件安装与部署**：解压FusionInsight HD软件包，通过WinSCP将软件包传输至管理节点，并进行校验和解压。随后，使用配置规划工具生成安装所需的配置文件。 3. **环境检查**：检查主机状态，确认网络连接、硬件...
物联网大数据Hadoop全套软件
最新发布
02-26
物联网大数据Hadoop全套软件，包括hadoop2.0、hbase、sqoop、zookeeper、apache-flume、apache-hive、hadoop+spark等全套软件，下载后安装，如需教程，可留言
Druid 实时OLAP数据仓库架构详解
01-24
Druid：为OLAP而生，多快好省高。 • 多，可以处理海量的数据， Druid官网说可以扩展到PB级，这个量非常大。 • 快，亚秒级响应，官网说10亿量级下做到亚秒响应，我们实际应用也是亚秒响应，实时导入，导入即可查询。导入了以后我们就可以查询到，这个还是非常非常的牛的。 • 好，就是高可用，分布式容错架构，可以做到无宕机。 • 省，采用列存储，高效压缩。我举一下我们的例子，我们原始日志是10亿量级，我们选取16个维度，22个度量值，每天生成的索引是几百兆。 • 高，它支持高并发，可以是作为面向用户的应用
【Hadoop生态圈】7.离线OLAP引擎Hive入门教程
皓亮君的博客
09-27 759
Hive是由Facebook开源的一款数据分析工具,主要用来进行数据提取，转换和加载(ETL)。Hive数据存储是基于Hadoop中的HDFS,它没有自己的存储系统,也没有专门的数据存储格式，它最大的魅力在于用户只需要专注于编写SQL，Hive帮用户把SQL转换为MapReduce程序完成对数据的分析。Hive自动将用户编写的SQL转换为MapReduce程序，处理位于HDFS上的结构化数据。Hive软件本身承担的是HQL语法解析编译称为MapReduce的功能职责。Hive优点:简易性。
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（一）
热门推荐
wzy0623的专栏
08-17 1万+
一、OLAP与Impala简介1. OLAP简介        OLAP是Online Analytical Processing的缩写，意为联机分析处理。此概念最早是由关系数据库之父E.F.Codd于1993年提出，至今已有20多年。OLAP允许以一种称为多维数据集的结构，访问业务数据源经过聚合和组织整理的后数据。以此为标准，OLAP作为单独的一类产品同联机事务处理(OLTP)得以明显区分。
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（五）
wzy0623的专栏
08-30 7668
五、Hue、Zeppelin比较        上一节简单介绍了Hue这种Hadoop生态圈的数据可视化组件，本节讨论另一种类似的产品——Zeppelin。首先介绍一下Zeppelin，然后说明其安装的详细步骤，之后演示如何在Zeppelin中添加MySQL翻译器，最后从功能、架构、使用场景几方面将Hue和Zeppelin做一个比较。1. Zeppelin简介        Zeppelin是一个
Apache Kylin：基于Hadoop的OLAP引擎
weixin_34378767的博客
07-03 153
传统上，Hadoop(包括MapReduce，Pig以及Hive)通常用于外部私有OLAP Cube引擎准备数据。如今，Zaloni的客户基于Apache Kylin的OLAP技术实现了实时查询的能力，这些Cube的事实表包含了400亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据，并构建OLAP Cube以支持实时分析，这是以前...
处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术
weixin_46838716的博客
10-28 1765
处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（三）
wzy0623的专栏
08-25 6373
三、Impala OLAP实例        本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询，以及实际遇到的问题及解决方案。为了处理SCD和行级更新，我们前面的ETL使用了Hive ORCFile格式的表，可惜到目前为止，Impala还不支持ORCFile。用Impala查询ORCFile表时，错误信息如下图所示。        这是一个棘手的问题。如果我们再建一套和dw库
大数据系统-SQL on Hadoop构建OLAP的基石
数据笔记
06-21 1139
    SQL on Hadoop是泛指大规模并行SQL分析引擎，针对的是分析性应用。和其他关系型数据库或数据仓库类似，接受SQL，返回结果集。但它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能。    系统设计者和用户比较关注其中一些技术点：接口层：是否兼容以往SQL标准，迁移以往工作负载以及平滑过渡甲方历史遗留作业。查询优化器层：能否将SQL转换为优化的分布式执行作业，深挖分布...
搭建Druid 0.13 集群
天天乐见的笔记本
03-06 1777
需要搭建的节点： 如图所示，需要搭建的节点： MiddieManager：执行提交的任务的工作节点，数据的导入（流式数据、批量式数据） Coordinator：管理段，加载新段，丢弃过时段，管理段复制以及平衡段负载 Overlord：负责接收任务、协调任务分配 Broker：转发查询（sql、API） Historical：用于查询深度存储内容 存储方案： 元数据存储：mysql 深度存储...
BigData大数据涉及到的各个框架的安装部署和实验
10-25
在这些框架的安装部署和实验过程中，作者详细记录了每一步骤，包括所需软件的下载和安装、配置文件的修改、环境变量的设置、以及各个命令的执行结果。通过这些记录，读者可以清晰地了解各个框架的搭建和集成实验过程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值