提交HDInsight Pig作业

最新推荐文章于 2024-06-19 00:49:19 发布

Amberzhaoln

最新推荐文章于 2024-06-19 00:49:19 发布

阅读量474

点赞数

分类专栏： big data

本文链接：https://blog.csdn.net/Amberzhaoln/article/details/44831259

版权

big data 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Pig是Hadoop常用的一个模块，Azure提供了使用PowerShell提交Pig作业的方式，当Pig Latin的脚本较为短小时，可使用New-AzureHDInsightPigJobDefinition的-Query直接指定脚本内容，示例如下：

$clusterName = "HDIDemo"
$QueryString = "intxt1 = load 'wasb://hdirawdata@teststorage.blob.core.chinacloudapi.cn/userbehavior.log' ;" +
	"store intxt1 into 'wasb:///home/mytest1' ;"
	
$pigJobDefinition = New-AzureHDInsightPigJobDefinition -Query $QueryString  

$pigJob = Start-AzureHDInsightJob -Cluster $clusterName -JobDefinition $pigJobDefinition 
 
Wait-AzureHDInsightJob -Job $pigJob -WaitTimeoutInSeconds 3600

Write-Host "Display the standard output ..." -ForegroundColor Green
Get-AzureHDInsightJobOutput -Cluster $clusterName -JobId $pigJob.JobId -StandardError

当PigLatin的脚本过长时，则会遇到”Theinput line is too long”的错误，这是由于一次提交的batch过长而导致，这时调用PigLatin文本就显得尤为重要。具体方法如下：

将如下Pig Latin的脚本存于后缀名为.pig的文件中（本例中为PigLatinTest.pig），并将其存储于Azureblob storage中。

intxt1 = load'wasb://amberhdirawdata@amberstorage.blob.core.chinacloudapi.cn/userbehavior.log';

store intxt1 into 'wasb:///home/mytest1' ;
使用如下命令调用Pig Latin脚本、并执行Pig作业：

$clusterName = "AmberHDIDemo"

$pigJobDefinition = New-AzureHDInsightPigJobDefinition -File "wasb://hdirawdata@teststorage.blob.core.chinacloudapi.cn/userbehavior.pig" -StatusFolder $statusFolder  -Verbose

$pigJob = Start-AzureHDInsightJob -Cluster $clusterName -JobDefinition $pigJobDefinition 
 
Wait-AzureHDInsightJob -Job $pigJob -WaitTimeoutInSeconds 3600

# Print the output of the Pig job.
Write-Host "Display the standard output ..." -ForegroundColor Green
Get-AzureHDInsightJobOutput -Cluster $clusterName -JobId $pigJob.JobId -StandardError