Azure HDinsight 结合 hadoop streaming(python)

在Azure中Hadoop被拆成了两个服务: Azure Data Lake Store 和 HDinsight Clusters

Azure Data Lake Store 即HDFS, 按储存量/小时 和 读写次数收费

HDinsight Clusters 即YARN以及SPARK, hive等各种计算框架和应用组件, 和普通VPS一样按照配置收费

Hive运行在10001端口 ,只可以用beeline链接

beeline -u 'jdbc:hive2://headnodehost:10001/;transportMode=http'

可以ssh上master节点, 然后再通过master节点ssh到slaver上去, slaver 的 IP 地址可以到 Ambari Views 里去找, 点右上Hosts可以看到所有节点的IP

通过ssh可以在所有node上安装python的libraries, 当然也可以通过Azure自带的script action来完成批量运行scripts到所有节点的操作, 但是script action不推荐, 原因是一旦报错, 错误信息非常模糊

此外需要运行:

sudo chmod -R 777 /usr/local/lib/python2.7

来开启目录权限, 否则pip都不能运行

官方文档:

hadoop2 job list & status & kill

yarn application -list
yarn application -kill appid
yarn application -status appid

Azure的HDInsight其实是基于另一个公司的产品: https://hortonworks.com/products/data-platforms/hdp/