如何调整和固化Azure HDInsight相关参数

如何调整和固化相关参数

前面提到，有些参数可以在创建集群时指定，这样在集群做ReImage 时这些参数还是会生效而不会改回为默认值。但有些参数，比如之前提到的关于Topology结构的参数，在创建集群的时候是不能指定的，这就需要人为去调整这些参数。
一种办法是RDP到NameNode,直接修改相关参数后再重启相应的服务。但这种做法最大的问题是当HDInsight 做ReImage 后这些参数会恢复为原来值。

如何固化这些参数?可以借助HDInsight 的Script Action 的功能来实现：

1.准备一个PowerShell 脚本: HDConfigureChange.ps1， 如下所示：

param ()
# Download config action module from a well-known directory.
$CONFIGACTIONURI = "https://hdiconfigactions.blob.core.windows.net/configactionmodulev05/HDInsightUtilities-v05.psm1";
$CONFIGACTIONMODULE = "C:\apps\dist\HDInsightUtilities.psm1";
$webclient = New-Object System.Net.WebClient;
$webclient.DownloadFile($CONFIGACTIONURI, $CONFIGACTIONMODULE);

# (TIP) Import config action helper method module to make writing config action easy.
if (Test-Path ($CONFIGACTIONMODULE))
{ 
    Import-Module $CONFIGACTIONMODULE;
} 
else
{
    Write-Output "Failed to load HDInsightUtilities module, exiting ...";
    exit;
}

#Loading Core-site.xml file
$coreSiteConfigFileLocation = "$env:HADOOP_HOME\etc\hadoop\core-site.xml";
[xml]$configFile = Get-Content $coreSiteConfigFileLocation

#Looking up for the property file.
$existingproperty = $configFile.configuration.property | where {$_.Name -eq "topology.script.file.name"}

if ($existingproperty) 
{
    $existingproperty.Value = ""
} 
else 
{
    Write-Host "Config Not Found"
    exit    
}

#Saving Core-site.xml file after changes.
$configFile.Save($coreSiteConfigFileLocation)

#Restarting all running services
$services = Get-HDIServicesRunning
foreach ($service in $services)
{
    Restart-Service $service.Name    
}

2.将该PowerShell 脚本上传到存储账号的一个Container,
这个Container要设置为Public blob Access (允许对该Blob 进行只读访问)
3.在创建HDInsight 的脚本中增加下面的代码，在创建HDInsight 集群时会执行该段脚本。

$config = Add-AzureHDInsightScriptAction -Config $config –Name TestScriptAction1 –Uri "https://publicstorage.blob.core.windows.net/hdconfig/HDConfigureChange.ps1" -ClusterRoleCollection HeadNode