实时搭建二

最新推荐文章于 2024-07-17 14:54:09 发布
最新推荐文章于 2024-07-17 14:54:09 发布
阅读量2.1k 收藏
点赞数
分类专栏： 大数据搭建 文章标签： hadoop hdfs mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51484276/article/details/123482091
版权

三、Hadoop集群的安装与配置

3.1Hadoop集群部署规划

//         linux101           linu102                      linux103
// HDFS    NameNode,Datanode  Datanode                     SecondaryNameNode,DataNode
// YARN    NodeManager        ResourceManager,NodeManager  NodeManager

3.2 Hadoop安装与配置

  • 上传hadoop3.1.3并解压配置环境变量

    [longlong@linux101 software]$ sudo vim /etc/profile.d/my-env.sh
## HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

  • 配置集群

    • 配置core-site.xml

      <configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://linux101:8020</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户为longlong -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>longlong</value>
    </property>

    <!-- 配置该longlong(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.longlong.hosts</name>
        <value>*</value>
    </property>
    <!-- 配置该longlong(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.longlong.groups</name>
        <value>*</value>
    </property>
    <!-- 配置该longlong(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.longlong.users</name>
        <value>*</value>
    </property>

</configuration>

    • 配置hdfs-site.xml

      <configuration>
      <!-- nn web端访问地址-->
      <property>
          <name>dfs.namenode.http-address</name>
          <value>linux101:9870</value>
      </property>
      
      <!-- 2nn web端访问地址-->
      <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>linux103:9868</value>
      </property>
      
      <!-- 测试环境指定HDFS副本的数量1 -->
      <property>
          <name>dfs.replication</name>
          <value>3</value>
      </property>
  
  </configuration>

    • 配置yarn-site.xml

      <configuration>

    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>linux102</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://linux101:19888/jobhistory/logs</value>
    </property>

    <!-- 设置日志保留时间为7天 -->
  <property>
        <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
    </property>


</configuration>

    • 配置map-reduce.xml

      <configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>linux101:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>linux101:19888</value>
    </property>   


</configuration>

    • 配置workers

      [longlong@linux101 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
linux101
linux102
linux103

    • 分发hadoop至其他机器

3.3 集群的启动与测试

  • 集群启动

    • 首次启动需要在NameNode上格式化

      [longlong@linux101 bin]$ hdfs namenode --format

    • 启动hdfs(namenode 所在节点)

      [longlong@linux101 bin]$ start-dfs.sh

    • 启动Yarn(在ResourceManager所在节点)

      [longlong@linux102 ~]$ start-yarn.sh

  • 集群测试

    • 后台服务

      [longlong@linux101 hadoop-3.1.3]$ myjps.sh
=================> linux101 JPS <=================
16834 Jps
16281 NameNode
16732 NodeManager
16431 DataNode
=================> linux102 JPS <=================
2602 ResourceManager
2412 DataNode
3053 Jps
2909 NodeManager
=================> linux103 JPS <=================
15122 NodeManager
15222 Jps
15016 SecondaryNameNode
14907 DataNode
[longlong@linux101 hadoop-3.1.3]$

    • Web界面

      在这里插入图片描述

    **3.4 HDFS高可用的搭建与配置 **

  • 上传解压至linux101，配置环境变量并分发至其他机器

    # 配置环境变量
[longlong@linux101 hadoop-3.1.3]$ sudo vim /etc/profile.d/my-env.sh
# HADOOP
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
# 分发配置
[longlong@linux101 hadoop-3.1.3]$ scp /etc/profile.d/my-env.sh root@linux102:/etc/profile.d/

  • 配置nameservice服务，修改hdfs-site.xml文件

    ## 添加如下配置
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!--配置nameservice-->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <!-- NameNode数据存储目录 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/name</value>
    </property>
    <!-- DataNode数据存储目录 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/data</value>
    </property>
    <!-- JournalNode数据存储目录 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>${hadoop.tmp.dir}/jn</value>
    </property>
    <!-- 完全分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <!-- 集群中NameNode节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>linux101,linux102,linux103</value>
    </property>
    <!-- NameNode的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.linux101</name>
        <value>linux101:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.linux102</name>
        <value>linux102:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.linux103</name>
        <value>linux103:8020</value>
    </property>
    <!-- NameNode的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.linux101</name>
        <value>linux101:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.linux102</name>
        <value>linux102:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.linux103</name>
        <value>linux103:9870</value>
    </property>
    <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://linux101:8485;linux102:8485;linux103:8485/mycluster</value>
    </property>
    <!-- 访问代理类：client用于确定哪个NameNode为Active -->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <!-- 使用隔离机制时需要ssh无秘钥登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/longlong/.ssh/id_rsa</value>
    </property>

    <!-- 关闭权限检查-->
    <property>
        <name>dfs.permissions.enable</name>
        <value>false</value>
    </property>
    <!--配置故障自动转义-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>


    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>linux103:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

</configuration>

  • 配置core-site.xml

    <configuration>
	<!--指定defaultFS-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!--指定jn存储路径-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/module/hadoop-3.1.3/JN/data</value>
    </property>
    <!--配置zookeeper地址-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>linux101:2181,linux102:2181,linux103:2181</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户为longlong -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>longlong</value>
    </property>
    <!-- 配置该longlong(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.longlong.hosts</name>
        <value>*</value>
    </property>
    <!-- 配置该longlong(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.longlong.groups</name>
        <value>*</value>
    </property>
    <!-- 配置该longlong(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.longlong.users</name>
        <value>*</value>
    </property>
</configuration>

  • 配置hadoop-env.sh

    [longlong@linux101 hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/opt/module/java-xxx
export HDFS_NAMENODE_USER=longlong
export HDFS_DATANODE_USER=longlong
export HDFS_ZKFC_USER=longlong
export HDFS_JOURNALNODE_USER=longlong
export YARN_RESOURCEMANAGER_USER=longlong
export YARN_NODEMANAGER_USER=longlong

  • 分发配置文件至linux102、linux103

  • 集群启动测试

    # 0. 必须先启动Zookeeper集群

# 1. 在各个JournalNode上启动服务
[longlong@linux101 ~]$ hdfs --daemon start journalnode
[longlong@linux102 ~]$ hdfs --daemon start journalnode
[longlong@linux103 ~]$ hdfs --daemon start journalnode
# 2. 第一次启动在nn1上进行格式化并启动
[longlong@linux101 ~]$ hdfs namenode -format
[longlong@linux101 ~]$ hdfs --daemon start namenode
# 3. 在nn2、nn3上同步nn1的元数据
[longlong@linux102 ~]$ hdfs namenode --bootstrapStandby
[longlong@linux103 ~]$ hdfs namenode --bootstrapStandby
# 4. 启动nn2和nn3
[longlong@linux102 ~]$ hdfs --daemon start namenode
[longlong@linux103 ~]$ hdfs --daemon start namenode
# 5. 关闭服务
[longlong@linux101 module]$ stop-dfs.sh
# 6. 初始化HA在zookeeper的状态
[longlong@linux101 ~]$ hdfs zkfc -formatZK
# 7. 启动集群服务
[longlong@linux101 module]$ start-dfs.sh

四、MySQL数据库的安装

  • 卸载linux自带的mariadb

    [longlong@linux101 mysql-8.0.18]$ sudo yum -y remove mariadb*

  • 上传mysql8.1.18.rpm包进行解压

    [longlong@linux101 mysql-8.0.18]$ tar -xf mysql-8.0.18-1.el7.x86_64.rpm-bundle.tar

  • 开始安装

    # 1.
[longlong@linux101 mysql-8.0.18]$ sudo rpm -ivh mysql-community-common-8.0.18-1.el7.x86_64.rpm
# 2.
[longlong@linux101 mysql-8.0.18]$ sudo rpm -ivh mysql-community-libs-8.0.18-1.el7.x86_64.rpm
# 3.
[longlong@linux101 mysql-8.0.18]$ sudo rpm -ivh mysql-community-client-8.0.18-1.el7.x86_64.rpm
# 4.
[longlong@linux101 mysql-8.0.18]$sudo yum -y install libaio
# 5.
[longlong@linux101 mysql-8.0.18]$ sudo rpm -ivh mysql-community-server-8.0.18-1.el7.x86_64.rpm

  • 启动修改密码以及远程登录

    # 1. 启动mysqld服务
[longlong@linux101 mysql-8.0.18]$ systemctl start mysqld
# 2. 查找密码并登录mysql
[longlong@linux101 mysql-8.0.18]$ sudo cat /var/log/mysqld.log | grep password
# 3. 登录
[longlong@linux101 mysql-8.0.18]$ mysql -u root -p
# 4. 修改密码
# 4.1 修改策略
  set global validate_password.policy=low;
  set global validate_password.length=11;
# 4.2 修改加密方式
  ALTER USER 'root'@'localhost' IDENTIFIED BY 'SJL@123456#' PASSWORD EXPIRE NEVER;
# 4.3 修改密码
  ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'SJL@123456#';
# 5. 刷新权限
  FLUSH PRIVILEGES;
# 6. 修改远程登录
  use mysql;
  update user set host ='%' where user = 'root';
  commit;
  exit;

五、hive的安装与配置

5.1 hive的安装

  • hive的解压与上传

  • 配置环境变量

    ## HIVE_HOME
export HIVE_HOME=/opt/module/hive-3.1.2
export PATH=$HIVE_HOME/bin:$PATH

  • 解决 Jar 包冲突

    [longlong@linux101 hive-3.1.2]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak
5.2 hive元数据配置到mysql

  • 拷贝mysql的驱动至hive的lib中

  • 配置Metastore到mysql

    [longlong@linux101 conf]$ vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://linux101:3306/metastore?useUnicode=true&amp;serverTimezone=GMT&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
</property>

	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>SJL@123456#</value>
</property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
   <!-- Hive元数据存储的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
   
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>

    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>

   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>linux101</value>
    </property>

    <!-- 指定hiveserver2连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>


    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://linux101:9083</value>
    </property>

</configuration>
5.3 启动hive

  • 初始化元数据库

    • 登录mysql数据库，创建metastore数据库

    • 初始化hive元数据库

      [longlong@linux101 conf]$ schematool -initSchema -dbType mysql -verbose

  • 启动hive

    • 先启动hadoop集群

    • **元数据 **启动hive

      [longlong@linux101 conf]$ hive --service metastore
2022-03-05 15:32:23: Starting Hive Metastore Server

[longlong@linux101 conf]$ hive

    • JDBC 访问hive

      • 启动元数据

        [longlong@linux101 conf]$ hive --service metastore

      • 启动 hiveserver2服务

        [longlong@linux101 conf]$ hive --service hiveserver2   | hiveserver2

      • 启动 beeline客户端

        [longlong@linux101 ~]$ beeline -u jdbc:hive2://linux101:10000 -n longlong

六、Kafka安装与配置

6.1 kafka 的安装

  • 上传并解压

  • 在 kafka 文件夹中创建 logs

  • 修改配置文件

    [longlong@linux101 config]$ vim server.properties
# broker的全局唯一编号，不能重复
broker.id=0
log.dirs=/opt/module/kafka_2.11-2.4.1/logs
zookeeper.connect=linux101:2181,linux102:2181,linux103:2181

  • 配置环境变量

    ## KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.11-2.4.1
export PATH=$KAFKA_HOME/bin:$PATH

  • 分发kafka

  • 在linux102、linux103上修改 broker.id

    linux102 => broker.id = 1 
linux103 => broker.id = 2
6.2 kafka启动测试
# 1. 先开启zookeeper集群
# 2. 再启动kafka
  kafka-server-start.sh -daemon config/server.properties

七、HBase安装与配置

7.1 Hbase的安装

  • 上传并解压hbase2.4.10

  • 配置环境变量

    ## HBASE_HOME
export HBASE_HOME=/opt/module/hbase-2.4.10
export PATH=$HBASE_HOME/bin:$PATH
7.2 修改配置

  • 修改 conf/regionservers 配置文件

    [longlong@linux101 hbase-2.4.10]$ vim conf/regionservers
linux101
linux102
linux103

  • 在conf目录创建一个名为 backup-masters的文件添加主机名为linux102

    [longlong@linux101 hbase-2.4.10]$ vim conf/backup-masters
linux102

  • 修改conf下的hbase-site.xml文件

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://linux101/hbase</value>
  </property>

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>linux101,linux102,linux103</value>
  </property>

  <property>
    <name>hbase.master.port</name>
    <value>16000</value>
  </property>

  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>

  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/longlong/zookeeper-hbase</value>
  </property>

  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
</configuration>

  • 在hbase-env.sh 末尾添加如下配置

    export JAVA_HOME=/opt/module/jdk1.8.0_212
export HBASE_MANAGES_ZK=false

  • 拷贝hdfs-site.xml到conf目录下

    [longlong@linux101 conf]$ cp /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml /opt/module/hbase-2.4.10/conf/

  • 分发配置

7.3 HBase的测试

  • 启动zookeeper

  • 启动hadoop

  • 启动Hbase

    start-hbase.sh

  • HBaseUI界面

    在这里插入图片描述

拌面一碗大
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
vite pwa打包告警 xxx is xxx MB, and won‘t be precached. Configure maximumFileSizeToCacheInBytes..
路过君的博客
08-09 544
vite 4.4.4。
hexo 博客支持PWA和压缩博文
weixin_34088598的博客
02-06 174
目标网站 https://blog.rmiao.top/ PWA yarn add hexo-offline 然后在root config.yml里新增 # offline config passed to sw-precache. service_worker: maximumFileSizeToCacheInBytes: 5242880 staticFileGlobs: - /**...
性能优化之webpack层面优化
qq_36262295的博客
12-23 526
指定不同的环境不同的配置 看似配置项很多， 其实只是五个关键字eval，source-map，cheap，module，inline的任意组合 。这五个关键字每一项都代表一个特性， 这四种特性可以任意组合。 它们分别代表以下五种特性）： eval： 使用eval包裹模块代码 source-map： 产生.map文件 cheap： 不包含列信息（关于列信息的解释下面会有详细介绍)也不包含loader的sourcemap module： 包含loader的sourcemap（比如jsx to js ，babel
Workbox CLI中文版
weixin_33887443的博客
01-02 476
在写PWA应用时，用到WorkBox工具，使用过程中发现没有中文的帮助文档，为了体验好一些，也为了方便自己和他人查看，在这里翻译了一下workbox-cli。 Workbox CLI 是什么? Workbox命令行（在workbox-cli包内）由workbox的NodeJS程序构成，可以运行在Windows、Mac和类UNIX环境下。workbox-cli包含了workbox-build模块，...
YARN故障排查
酸菜鱼的博客
06-09 1042
Hadoop学习之故障排查
基于阿里云搭建实时数据仓库项目项目需求及架构设计.pdf
01-06
"基于阿里云搭建实时数据仓库项目需求及架构设计" 本文档主要讲述基于阿里云搭建实时数据仓库项目的需求和架构设计。该项目的目的是学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程...
MATLAB电路仿真搭建教程
01-27
同时，利用`Simulink`模块下的`Scope`虚拟示波器，可以实时查看电压波形。 最后，使用`powergui`工具创建交互式界面，便于控制和观察仿真过程。在模型编辑窗口中设定仿真参数，如仿真时间（本例中为0.1秒），然后...
kafka集群搭建文档
05-31
Kafka是一款高效的消息中间件，常用于大数据实时处理和流计算场景。本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的...
Mosquitto简介及搭建
02-07
【Mosquitto简介】 Mosquitto是一款开源的轻量级消息代理软件，它实现了MQTT（Message Queuing Telemetry Transport）v3.1版本的...这使得开发人员能够轻松地集成MQTT协议到各种设备和应用中，实现设备间的实时通信。
Angular2环境搭建具体操作步骤(推荐)
08-29
在本文中，我们将详细探讨如何搭建Angular2的开发环境，这是一个重要的步骤，为后续的Angular2项目开发奠定基础。Angular2是一款由Google维护的前端框架，用于构建高性能、响应式的Web应用。它基于TypeScript语言，...
HADOOP安装和环境配置
YYDS_emmm的博客
06-05 573
HADOOP安装和环境配置 #检查/etc/hosts中 ip hostname 映射 ip addr hostname #1、本机免密 cd ~ ssh-keygen -t rsa ssh root@singlechen logout #公钥 cat id_rsa.pub>>authorized_keys ->authorized_keys known_keys #免密登录 ssh root@singlechen #2、解压 tar -zxvf hadoop-3.1.3.tar.gz
Yarn中如何调整AppMatser容器与Container容器的大小配置
破釜沉舟撞南墙的博客
09-10 1309
Yarn中如何调整AppMatser容器与Container容器的大小配置 1.配置AppMatser容器大小的文件目录地址 AppMaster: hadoop3.1/etc/hadoop/capacity-scheduler.xml 2.配置中信息解读 <property> <name>yarn.scheduler.capacity.maximum-am-resourcepercent</name> <value>0.1</value&
CDH yarn 管理的内核个数、内存大小配置方式
枪枪枪的博客
09-02 1810
文章目录CPU内存参考资料 在Cloudera Manager的群集内选择yarn进入yarn的配置界面 在筛选器一栏中选择资源管理 CPU 搜索配置项 yarn.nodemanager.resource.cpu-vcores 可以为容器分配的虚拟 CPU 内核的数量 这个数值可以大于物理机实际的cpu内核数量，cdh好像不会校验，这里一般按1:1来设置 数值根据node manager节点所在物理机的配置来设置 集群所有物理机的信息在“主机”页面进行查看 内存 搜索yarn.nodemanag
Yarn模式下Mapreduce的内存参数理解以及xml参数配置
虎啸千峰的博客
11-20 1633
一、概述 MapReduce主要靠yarn进行资源分配，因此，进行MapReduce作业时，可以通过调节对应的yarn和hive参数优化MapReduce作业。Container是一个逻辑上的yarn资源容器； Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上【8088端口】看到Container的状态。 二、yarn资源管理及设置 Yarn的ResourceM..
Hadoop环境安装
qq_42722387的博客
09-04 1800
hadoop安装
Yarn 内存分配管理机制及相关参数配置
weixin_34018202的博客
09-08 786
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 关于Yarn的详细介绍请参考【Hadoop Yarn详解】 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager...
Hadoop3：MR程序优化的相关参数介绍
Brave_heart4pzj的博客
07-17 330
Hadoop
Hadoop3：MR程序压测实验
最新发布
Brave_heart4pzj的博客
07-17 449
Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
永远好奇，无限进步！
07-15 670
上一节完成了ZK的命令操作：创建、读取、删除节点等操作。本节用JavaAPI进行操作，实现创建、删除、监听节点、监听变化等操作。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123。
docker搭建达梦8实时主备
05-24
要使用 Docker 搭建达梦数据库的实时主备，需要遵循以下步骤： 1. 安装 Docker 和 Docker Compose。 2. 创建两个目录，一个用于存放主库的数据，一个用于存放备库的数据。例如： ``` mkdir /data/dm_primary ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值