合并资源指将多个配置文件合并，产生一个配置

最新推荐文章于 2022-12-05 10:06:06 发布
最新推荐文章于 2022-12-05 10:06:06 发布
阅读量749 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/j0bay00r/article/details/41150251
版权
Hadoop配置文件的根元素configuration包含property元素，每个property表示一个配置项。final属性用于防止合并资源时配置项被覆盖。通过Configuration类的loadResources()方法可以合并多个配置文件，后面的配置会覆盖前面的，除非前面的配置项被标记为final。直接运行Configuration.java将使用默认配置文件。
摘要由CSDN通过智能技术生成 
   
   
   

    
    
    
     
     
     

      
      
      
       
       
       

        
        
        
         
         
         

          
          
          

         
         
         

       
       
       

     
     
     

   
   
   
 
 
 

 

 
 
  
  
  

   
   
   
    
    
    

     
     
     
      
      
      

       
       
       
        
        
        

         
         
         
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
      <property>
         <name>io.sort.factor</name>
         <value>10</value>
         <description>The number of streams to merge at once while sorting  
         files.  This determines the number of open file handles.</description>
      </property>
    <property>
         <name>dfs.name.dir</name>
         <value>${hadoop.tmp.dir}/dfs/name</value>
         <description>Determines where on the local filesystem the DFS name  
         nodeshould store the name table(fsimage).  ……</description>
      </property>
    <property>
         <name>dfs.web.ugi</name>
         <value>webuser,webgroup</value>
         <final>true</final>
         <description>The user account used by the web interface.  
         Syntax: USERNAME,GROUP1,GROUP2, ……</description>
      </property>
    </configuration>

         
         
         

          
          
          复制代码
         
         
         

        
        
        
    Hadoop配置文件的根元素是configuration，一般只包含子元素property。每一个property元素就是一个配置 项，配置文件不支持分层或分级。每个配置项一般包括配置属性的名称name、值value和一个关于配置项的描述description；元素final 和Java中的关键字final类似，意味着这个配置项是“固定不变的”。final一般不出现，但在合并资源的时候，可以防止配置项的值被覆盖。
    在 上面的示例文件中，配置项dfs.web.ugi的值是“webuser,webgroup”，它是一个final配置项；从description看， 这个配置项配置了Hadoop Web界面的用户账号，包括用户名和用户组信息。这些信息可以通过Configuration类提供的方法访问。
    在 Configuration中，每个属性都是String类型的，但是值类型可能是以下多种类型，包括Java中的基本类型，如 boolean（getBoolean）、int（getInt）、long（getLong）、float（getFloat），也可以是其他类型，如 String（get）、java.io.File（getFile）、String数组（getStrings）等。以上面的配置文件为 例，getInt("io.sort.factor")将返回整数10；而getStrings("dfs.web.ugi")返回一个字符串数组，该数 组有两个元素，分别是webuser和webgroup。
    合并资源指将多个配置文件合并，产生一个配置。如果有两个配置文件，也就是两个资源，如core-default.xml和core-site.xml，通过Configuration类的loadResources()方法，把它们合并成一个配置。代码如下：
    Configurationconf = new Configuration();  
    conf.addResource("core-default.xml");  
    conf.addResource("core-site.xml");
    如 果这两个配置资源都包含了相同的配置项，而且前一个资源的配置项没有标记为final，那么，后面的配置将覆盖前面的配置。上面的例子中，core- site.xml中的配置将覆盖core-default.xml中的同名配置。如果在第一个资源（core-default.xml）中某配置项被标记 为final，那么，在加载第二个资源的时候，会有警告提示。
3 直接运行Configuration.java则会调用默认配置文件部分结果如下：

        
        
        

         
         
         

          
          
          复制代码
         
         
         

         
         
         
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
    <name>ipc.client.fallback-to-simple-auth-allowed</name>
    <value>false</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>file.bytes-per-checksum</name>
    <value>512</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>ipc.server.tcpnodelay</name>
    <value>false</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>ftp.client-write-packet-size</name>
    <value>65536</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>nfs3.mountd.port</name>
    <value>4272</value>
    <source>core-site.xml</source>
</property>
</configuration>

         
         
         

          
          
          复制代码
         
         
         

        
        
        
    <?xml version="1.0"?>    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>    <configuration>      <property>         <name>io.sort.factor</name>         <value>10</value>         <description>The number of streams to merge at once while sorting           files.  This determines the number of open file handles.</description>      </property>    <property>         <name>dfs.name.dir</name>         <value>${hadoop.tmp.dir}/dfs/name</value>         <description>Determines where on the local filesystem the DFS name           nodeshould store the name table(fsimage).  ……</description>      </property>    <property>         <name>dfs.web.ugi</name>         <value>webuser,webgroup</value>         <final>true</final>         <description>The user account used by the web interface.           Syntax: USERNAME,GROUP1,GROUP2, ……</description>      </property>    </configuration>

       
       
       

        
        
        复制代码
       
       
       

      
      
      
    Hadoop配置文件的根元素是configuration，一般只包含子元素property。每一个property元素就是一个配置 项，配置文件不支持分层或分级。每个配置项一般包括配置属性的名称name、值value和一个关于配置项的描述description；元素final 和Java中的关键字final类似，意味着这个配置项是“固定不变的”。final一般不出现，但在合并资源的时候，可以防止配置项的值被覆盖。
    在 上面的示例文件中，配置项dfs.web.ugi的值是“webuser,webgroup”，它是一个final配置项；从description看， 这个配置项配置了Hadoop Web界面的用户账号，包括用户名和用户组信息。这些信息可以通过Configuration类提供的方法访问。
    在 Configuration中，每个属性都是String类型的，但是值类型可能是以下多种类型，包括Java中的基本类型，如 boolean（getBoolean）、int（getInt）、long（getLong）、float（getFloat），也可以是其他类型，如 String（get）、java.io.File（getFile）、String数组（getStrings）等。以上面的配置文件为 例，getInt("io.sort.factor")将返回整数10；而getStrings("dfs.web.ugi")返回一个字符串数组，该数 组有两个元素，分别是webuser和webgroup。
    合并资源指将多个配置文件合并，产生一个配置。如果有两个配置文件，也就是两个资源，如core-default.xml和core-site.xml，通过Configuration类的loadResources()方法，把它们合并成一个配置。代码如下：
    Configurationconf = new Configuration();  
    conf.addResource("core-default.xml");  
    conf.addResource("core-site.xml");
    如 果这两个配置资源都包含了相同的配置项，而且前一个资源的配置项没有标记为final，那么，后面的配置将覆盖前面的配置。上面的例子中，core- site.xml中的配置将覆盖core-default.xml中的同名配置。如果在第一个资源（core-default.xml）中某配置项被标记 为final，那么，在加载第二个资源的时候，会有警告提示。
3 直接运行Configuration.java则会调用默认配置文件部分结果如下：

      
      
      

       
       
       

        
        
        复制代码
       
       
       

       
       
       
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
    <name>ipc.client.fallback-to-simple-auth-allowed</name>
    <value>false</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>file.bytes-per-checksum</name>
    <value>512</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>ipc.server.tcpnodelay</name>
    <value>false</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>ftp.client-write-packet-size</name>
    <value>65536</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>nfs3.mountd.port</name>
    <value>4272</value>
    <source>core-site.xml</source>
</property>
</configuration>

       
       
       

        
        
        复制代码
       
       
       

      
      
      




      
      
      

       
       
       
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
      <property>
         <name>io.sort.factor</name>
         <value>10</value>
         <description>The number of streams to merge at once while sorting  
         files.  This determines the number of open file handles.</description>
      </property>
    <property>
         <name>dfs.name.dir</name>
         <value>${hadoop.tmp.dir}/dfs/name</value>
         <description>

      

    

  



                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  j0bay00r
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
springboot中多个配置文件（多环境一）

				
			

			

				

					蔡定努
				

				

					06-14
					
					2001
					
				

			

		

		

			
				

			
		

	



                

              
                



	

		

			

				
					
Python Excel教程之如何将多个 excel 文件合并为一个文件（教程含源码）

				
			

			

				

					iCloudEnd的博客
				

				

					06-02
					
					1947
					
				

			

		

		

			
				
通常，我们正在使用 Excel 文件，并且我们肯定遇到过需要将多个 Excel 文件合并为一个的场景。传统方法一直是在 excel 中使用 VBA 代码来完成这项工作，但这是一个多步骤的过程，并不那么容易理解。另一种方法是手动将较长的 Excel 文件复制到其中，这不仅耗时、麻烦而且容易出错。请到下面地址下载python安装包，并根据自己操作系统版本下载对应的安装包
一路next后，别忘配置路径
下面三个地址都要添加path
安装pandas
使用Pandas 模块，只需几行Python代码即可轻松快速地完

			
		

	



                


  
              

                


	

		

			

				
					
Spring：多配制文件整合（跨文件注入）

				
			

			

				

					dengfengling999的博客
				

				

					05-30
					
					203
					
				

			

		

		

			
				
跨配置进行注入：

把AppConfig2中的userDAO赋值给AppConfig1













两个配置Bean跨配置Bean进行注入：

config包下：

AppConfig1：


package com.baizhiedu.config;

import com.baizhiedu.injection.UserDAO;
import com.baizhiedu.injection.UserService;
import com.baizhiedu.injection.Use...

			
		

	





	

		

			

				
					
30 多份配置文件合并功能

				
			

			

				

					weixin_30918415的博客
				

				

					01-23
					
					116
					
				

			

		

		

			
				
maven 依赖

 <dependency>
            <groupId>commons-configuration</groupId>
            <artifactId>commons-configuration</artifactId>
            <version>1....

			
		

	



		

			
		



	

		

			

				
					
VS多个config文件合并详解

				
			

			

				

					qq_33788547的博客
				

				

					08-07
					
					1154
					
				

			

		

		

			
				
在一个visual studio解决方案的多个项目中，可能有多个项目都会存在配置文件,app.config或者web.config。这里是个人在开发中的一些总结:
关于配置文件的加载顺序:
1、如果在当前运行页面所在的目录下有web.config文件，则查找是否存在所需要的节点，如果存在则返回结果，并停止下一步地查找。
2、如里所在目录不存在web.config配置或者配置文件里没有所需要的节点，...

			
		

	





	

		

			

				
					
配置文件功能

				
			

			

				

					qazw9600的专栏
				

				

					08-19
					
					1824
					
				

			

		

		

			
				
根据作用分类

配置文件根据作用可以分成两种：


配置项文件，一个文件包含了所有的软件配置项，软件配置从文件中读取，更灵活。
设置项保存文件，一个文件存储软件设置的参数。

文件存储方式
二进制

优点：


数据量小，
读写快，性能快，
不需要解析


缺点：


可读性不好，如果需要手动修改，会比较麻烦

字符串存储

xml
json
自定义格式，例如：window下ini文件格式，

c...

			
		

	





	

		

			

				
					
.NET 多个程序配置文件合并到主app.config

				
			

			

				

					weixin_30533797的博客
				

				

					11-20
					
					212
					
				

			

		

		

			
				
.NET 多个程序配置文件合并到主app.config
转载于:https://www.cnblogs.com/lihuali/p/6083758.html

			
		

	





	

		

			

				
					
PB数据窗口导出PDF并且合并到一个PDF文件中

				
			

			

				

					06-11
				

			

		

		

			
				
标题 "PB数据窗口导出PDF并且合并到一个PDF文件中" 涉及的主要知识点是使用PowerBuilder（PB）这个编程工具，对数据窗口对象进行操作，并将结果以PDF格式导出，最后实现多个PDF文件的合并。在这个过程中，我们不仅...

			
		

	





	

		

			

				
					
python文本文件合并_使用python将2个文本文件合并为一个文件 - python

				
			

			

				

					weixin_39861823的博客
				

				

					12-21
					
					1939
					
				

			

		

		

			
				
Closed. This question needs details or clarity。它当前不接受答案。想改善这个问题吗？添加详细信息并通过editing this post阐明问题。上个月关闭。'''大家好，我有2个文本文件。file1.txt1154 1353 G61354 1408 G21409 1592 G31593 1729 G6file2 .txtG1 =1 0 0 0 0 0...

			
		

	





	

		

			

				
					
QT，matlab混合调试，MATLAB生成DLL，将多个m文件合并生成一个DLL

				
			

			

				

					LittleYoY的专栏
				

				

					06-12
					
					3146
					
				

			

		

		

			
				
     最近再做一个项目。用qt有好的界面调用MATLAB已经写好的算法，亲自踩了很多的坑，在这里分享一下：1，混合调试有两种方法，比较主流的就是调用MATLAB生成的DLL，进行联调；2，调用MATLAB自身引擎的方法，进行联调；自认为调用MATLAB引擎的方式，在运行QT的时候蹦出来MATLAB的界面，会比较尴尬，最终选择了生成DLL的方法。看着网上的教程，以为会很简单，但是这样简单的东西我...

			
		

	





	

		

			

				
					
合并http配置项

				
			

			

				

					weixin_33853827的博客
				

				

					04-11
					
					95
					
				

			

		

		

			
				
微信公众号：郑尔多斯
  关注「郑尔多斯」公众号 ，回复「领取资源」，获取IT资源500G干货。升职加薪、当上总经理、出任CEO、迎娶白富美、走上人生巅峰！想想还有点小激动
  关注可了解更多的Nginx知识。任何问题或建议，请公众号留言;关注公众号，有趣有内涵的文章第一时间送达！
  

前言
前面的文章已经从源码级别将配置的解析过程说的很清楚了，本文我们学习一下nginx的http...

			
		

	





	

		

			

				
					
文件合并/分解器的原理和实现[第一篇]

				
			

			

				

					weixin_30555753的博客
				

				

					02-22
					
					147
					
				

			

		

		

			
				
我最近在做一个网站，由于上传到服务器的文件比较多，所以用FTP就非常的慢。最为理想的方式就是用RAR打包后上传到服务器在解压。不过，由于各种因素的影响。不能随时远程登录到服务器，所以想解压就不是那么容易。本来想写个用RAR解压的程序。可是研究了一下心情不好。就决定自己写一个把多个文件合并成一个大的二进制文件，然后再分解的程序。 原理：大二进制文件 = 索引文件长度（转换为...

			
		

	





	

		

			

				
					
说说在 Spring 中如何整合多个配置文件

				
			

			

				

					读万卷书，行万里路
				

				

					05-06
					
					1283
					
				

			

		

		

			
				
对于一个大型应用来讲，可能存在多个配置文件。我们可以在启动 Spring 容器时，通过 String 数组来指定这些配置文件 。    

Spring 还可以通过 &lt;import&gt; 将多个配置文件引入到一个文件中，集成这些配置文件，这样在启动 Spring 容器时，仅需要指定这个主配置文件即可 。 比如以下的这个主配置文件：



&lt;import resource="class...

			
		

	





	

		

			

				
					
文件切割与合并+配置文件

				
			

			

				

					大曹的博客
				

				

					03-11
					
					329
					
				

			

		

		

			
				
以前没想到过还有这手；文件切割代码：public class spitClassFile {
	 private static final int SIZE = 1024*1024; // 确定每次读取的大小
	public static void main(String[] args) throws IOException {
		File file = new File("D:/as.avi"...

			
		

	





	

		

			

				
					
hadoop集群间文件传输

				
			

			

				

					CSDN
				

				

					09-05
					
					1769
					
				

			

		

		

			
				
2、在kerberos与非kerberos集群中。1、在没有kerberos的集群间传输。修改core-site.xml 配置。

			
		

	





	

		

			

				
					
hive库历史数据迁移

				
			

			

				

					dgbcf的博客
				

				

					12-05
					
					572
					
				

			

		

		

			
				
hive历史数据迁移

			
		

	





	

		

			

				
					
hadoop跨KDC集群离线割接数据（hbase，hive元数据恢复）

				
			

			

				

					wangfeng216的博客
				

				

					08-13
					
					250
					
				

			

		

		

			
				
hbase表跨集群迁移

未开启kerberos集群：

hadoop fs -copyToLocal /hbase/data/default/user_feature /data/tocdh516data/user_feature
scp -r user_feature/ root@X.X.X.X:/data/hbase_data
##新集群hbase用户执行
hadoop fs -copyFromLocal /data/hbase_data/user_feature /hbase/data/defaul

			
		

	





	

		

			

				
					
hdfs跨集群数据迁移

				
			

			

				

					weixin_38655836的博客
				

				

					06-19
					
					568
					
				

			

		

		

			
				
mapred.job.queue.name=“root.zm_yarn_pool.production” 设置资源池队列
ipc.client.fallback-to-simple-auth-allowed=true 由于使用了kerberos认证，需要设置改属性
hadoop distcp -Dmapred.job.queue.name=“root.zm_yarn_pool.production...

			
		

	





	

		

			

				
					
HDFS Client加载配置过程源码解析

				
			

			

				

					yukikaze_nanoda的博客
				

				

					09-15
					
					1023
					
				

			

		

		

			
				
Configuration类是hadoop的配置类，而客户端获取配置最常用的方式，就是Java Configuration类的addResource()方法和set()方法。此外，还可以通过shell加 -D 的方式，获取指定配置项。本文将通过以下代码，深入源码，探究Client的配置加载过程。本次分析，hadoop版本为3.3.4。

			
		

	





	

		

			

				
					
java根据文件路径将多个文件合并为一个pdf文件的方法

					
最新发布

				
			

			

				

					07-12
				

			

		

		

			
				
要将多个文件合并为一个 PDF 文件，可以使用第三方库 iTextPDF。以下是一个示例代码：

首先，确保你已将 iTextPDF 添加到你的项目中。你可以通过 Maven 或手动下载 JAR 文件的方式添加依赖。

```java
import com.itextpdf.text.Document;
import com.itextpdf.text.DocumentException;
import com.itextpdf.text.pdf.PdfCopy;
import com.itextpdf.text.pdf.PdfReader;

import java.io.FileOutputStream;
import java.io.IOException;

public class PDFMerger {
    public static void main(String[] args) {
        String[] sourceFiles = {"path/to/file1.pdf", "path/to/file2.pdf", "path/to/file3.pdf"};
        String targetFile = "path/to/merged.pdf";

        mergePDFs(sourceFiles, targetFile);

        System.out.println("Files merged successfully.");
    }

    public static void mergePDFs(String[] sourceFiles, String targetFile) {
        Document document = new Document();

        try {
            PdfCopy copy = new PdfCopy(document, new FileOutputStream(targetFile));
            document.open();

            for (String sourceFile : sourceFiles) {
                PdfReader reader = new PdfReader(sourceFile);
                copy.addDocument(reader);
                reader.close();
            }

            copy.close();
            document.close();
        } catch (IOException | DocumentException e) {
            e.printStackTrace();
        }
    }
}
```

在上面的示例中，我们首先指定了要合并的源文件的路径数组 `sourceFiles`，以及目标文件的路径 `targetFile`。然后，我们定义了一个 `mergePDFs` 方法来执行合并操作。

在 `mergePDFs` 方法中，我们首先创建一个 `Document` 对象，并使用 `PdfCopy` 对象将其与目标文件关联起来。然后，我们遍历源文件数组，对于每个源文件，我们创建一个 `PdfReader` 对象，并使用 `copy.addDocument` 方法将其添加到目标文件中。最后，我们关闭 `PdfCopy` 和 `Document` 对象。

请确保替换示例代码中的文件路径为你实际的文件路径，并根据你的项目配置进行必要的导入和依赖管理。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值