5. Hadoop 优化

1)数据输入小文件处理:

  1. 合并小文件:对小文件进行归档(har)、自定义 inputFormat、将小文件存储成 sequenceFile 文件
  2. 采用 CombineFileInputFormat 作为输入,解决输入端的大量小文件场景
  3. 对于大量小文件 Job,可以开启 JVM 重用,推荐阅读:Hadoop的JVM重用

2)Map 阶段

  1. 增大环形缓冲区大小和溢写的比例。减少溢写(spill)次数,从而减少磁盘IO。
  2. 减少对溢写文件的 merge 次数。通过增大 merge 的文件数目,减少 merge 的次数,从而缩短时间。
  3. 不影响实际业务的前提下,采用 combiner 提前合并,减少IO

3)Reduce 阶段

  1. 合理设置 Map 和 Reduce 数。两个都不能设置太少,也不能设置太多。太少,会导致 task 等待,延长处理时间;太多,会导致 Map、Reduce 任务间竞争资源,造成处理超时等错误。
  2. 设置 Map、Reduce 共存。调整 slowstart.completedmaps 参数,使 map 运行到一定程度后,reduce 也开始运行,减少 reduce 的等待时间。
  3. 规避使用 reduce。因为 reduce 在用于连接数据集的时候将会产生大量的网络通信消耗。
  4. 增加每个 reduce 去 map 中拿数据的并行数
  5. 集群性能可以的前提下,增大 reduce 端存储数据内存的大小

4)IO 传输

  1. 采用数据压缩的方式,减少网络 IO 的时间。安装 Snappy 和 LZOP 压缩编码器。
  2. 使用 SequenceFile 二进制文件。

5)整体

  1. MapTask 默认内存大小是1G,可以增加 MapTask 内存大小为 4~5G
  2. ReduceTask 默认内存大小是1G,可以增加 ReduceTask 内存大小为 4~5G
  3. 可以增加 MapTask 的 CPU 核数,增加 ReduceTask 的 CPU 核数
  4. 增加每个 Container 的 CPU 核数和内存大小
  5. 调整每个 MapTask 和 ReduceTask 最大重试次数
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
牙科就诊管理系统利用当下成熟完善的SSM框架,使用跨平台的可开发大型商业网站的Java语言,以及最受欢迎的RDBMS应用软件之一的Mysql数据库进行程序开发。实现了用户在线查看数据。管理员管理病例管理、字典管理、公告管理、药单管理、药品管理、药品收藏管理、药品评价管理、药品订单管理、牙医管理、牙医收藏管理、牙医评价管理、牙医挂号管理、用户管理、管理员管理等功能。牙科就诊管理系统的开发根据操作人员需要设计的界面简洁美观,在功能模块布局上跟同类型网站保持一致,程序在实现基本要求功能时,也为数据信息面临的安全问题提供了一些实用的解决方案。可以说该程序在帮助管理者高效率地处理工作事务的同时,也实现了数据信息的整体化,规范化与自动化。 管理员在后台主要管理病例管理、字典管理、公告管理、药单管理、药品管理、药品收藏管理、药品评价管理、药品订单管理、牙医管理、牙医收藏管理、牙医评价管理、牙医挂号管理、用户管理、管理员管理等。 牙医列表页面,此页面提供给管理员的功能有:查看牙医、新增牙医、修改牙医、删除牙医等。公告信息管理页面提供的功能操作有:新增公告,修改公告,删除公告操作。公告类型管理页面显示所有公告类型,在此页面既可以让管理员添加新的公告信息类型,也能对已有的公告类型信息执行编辑更新,失效的公告类型信息也能让管理员快速删除。药品管理页面,此页面提供给管理员的功能有:新增药品,修改药品,删除药品。药品类型管理页面,此页面提供给管理员的功能有:新增药品类型,修改药品类型,删除药品类型。
### 回答1: ration是Hadoop中的一个Java类,用于管理和读取Hadoop的配置文件。它提供了一种方便的方式来访问Hadoop集群的配置信息,包括HDFS、MapReduce、YARN等组件的配置。通过Configuration类,用户可以轻松地读取和修改Hadoop的配置信息,以满足不同的需求。 ### 回答2: org.apache.hadoop.conf.configu是Hadoop框架中的一个Java类库,主要用于加载和管理Hadoop系统中的配置文件。这个类库包含了几个重要的类和接口,其中最常用的是Configuration类。 Configuration类是org.apache.hadoop.conf.configu中的核心类,用于管理Hadoop系统中的所有配置项。这个类提供了读取配置文件、添加新的配置项、修改已有的配置项、获取配置项值等操作的接口。在Hadoop应用程序中,我们可以通过创建Configuration对象来读取和管理配置文件中的配置项。 此外,org.apache.hadoop.conf.configu库还提供了另外一些类,如JobConf类、JobClient类和JobTracker类等,用于对Hadoop作业进行配置和管理。其中,JobConf类可以继承Configuration类,提供了更多用于作业配置的接口;JobClient类则用于提交和管理作业;JobTracker类则是Hadoop中的一个关键组件,负责作业调度和资源分配等功能。 总的来说,org.apache.hadoop.conf.configu是Hadoop框架中一个非常重要的Java类库,它为Hadoop应用程序提供了非常重要的配置管理功能。了解如何使用这个类库可以帮助我们更好地编写和优化Hadoop应用程序。 ### 回答3: org.apache.hadoop.conf.configu是Hadoop分布式计算框架中的一个重要组件,它是Hadoop的一个配置工具,用于读取、写入和管理Hadoop的配置文件。它的主要作用是帮助用户管理Hadoop集群的配置信息,从而让Hadoop集群更加易于管理和维护。org.apache.hadoop.conf.configu提供了一组基本的API,供用户使用。 在Hadoop集群中,配置文件是非常重要的组成部分,因为集群中的每个节点都需要知道如何配置自己以与其他节点协作。org.apache.hadoop.conf.configu提供了一个通用的方式来处理这些配置文件,它允许用户轻松地读取和写入这些文件,并且可以通过编程方式进行修改和更新。同时,org.apache.hadoop.conf.configu还支持多种不同的配置文件格式,包括基于XML和基于Properties的格式。 在Hadoop集群中,配置文件通常是为了定义不同的属性,例如节点的IP地址和端口号,Hadoop的默认文件系统,HDFS的块大小等。在org.apache.hadoop.conf.configu中,所有这些属性都是以键值对的形式存储的,并且可以随时通过API查询和修改。此外,org.apache.hadoop.conf.configu还提供了一些工具类来帮助用户管理这些属性,例如属性类型转换和属性默认值设置等。 总的来说,org.apache.hadoop.conf.configu是Hadoop分布式计算框架的一个核心组件,它帮助用户管理Hadoop集群中的配置信息,使得集群更加容易管理和维护。通过使用org.apache.hadoop.conf.configu,用户可以轻松地读取、写入和管理Hadoop的配置文件,从而使Hadoop集群更加健壮和可靠。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值