自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 通过Power Shell 在中国区Azure部署Azure SQL Data Warehouse

Azure SQLData Warehouse是微软推出的一款开箱即用的数据仓库PAAS服务,目前在中国区已经PublicView. SQL DW 主要面向数据分析、即席查询、报表等服务,其主要特点和优势包括: 支持大数据量、高性能、支持弹性扩展

2016-05-11 15:40:10 2857

原创 如何调整和固化Azure HDInsight相关参数

如何调整和固化相关参数前面提到,有些参数可以在创建集群时指定,这样在集群做ReImage 时这些参数还是会生效而不会改回为默认值。但有些参数,比如之前提到的关于Topology结构的参数,在创建集群的时候是不能指定的,这就需要人为去调整这些参数。 一种办法是RDP到NameNode,直接修改相关参数后再重启相应的服务。但这种做法最大的问题是当HDInsight 做ReImage 后这些参数会恢复为

2015-11-02 15:59:31 716

原创 如何调整Azure HDInsight 的时区

HDInsight 在创建后,默认Name Node /Data Node 的时区都是世界标准时区(UTC). 当客户把应用迁移到HDInsight, 有些情况客户可能需要调整集群节点的时区为中国时区。 有一个典型的场景,客户端是中国时区,而HDInsight 集群的时区是UTC. 如果用户在客户端提交Hive 查询,如果hive 以Local Mode 执行,会按客户端的时区,如果提交到HDIn

2015-11-02 15:53:13 1086

原创 关于Azure HDInsight资源调用的问题及解决办法

2.关于HDInsight资源调用的问题及解决办法HDInsight的集群创建后,通常会根据创建时指定的节点大小来设定和资源分配相关的参数的默认值。但有些情况下,这些默认值可能无法满足客户的要求,需要在创建时指定好相关参数。 比如本次客户的环境是25个A7 的节点作为Data Node, 每台服务器的配置是8Core/56G 内存。默认创建好集群后,HDInsight 会默认设定每个Contain

2015-11-02 15:40:26 861

原创 通过PowerShell 脚本在中国区Azure部署定制化HDInsight 集群

通常用户可以直接通过管理门户(https://Manage.windowsazure.cn) 来创建HDInsight 集群,但个人建议还是通过PowerShell 来创建: 1. 通过PowerShell 脚本来创建,脚本可以复用。 2. 通过PowerShell 脚本可以修改HDInsight 的默认参数,以适应不同业务的需求通过PowerShell 创建定制化的HDInsight 集群

2015-11-02 15:28:31 1562 1

原创 部署定制化的Azure HDInsight 集群及相关参数的优化

从几个方面介绍在实际部署HDInsight集群中几个常见的需求及解决方案: 1. 通过PowerShell脚本部署HDInsight集群 2. 关于资源调用的问题及解决办法 3. 解决集群迁移过程中元数据的导入/导出和迁移问题 4. 如何调整和固化相关参数 5. 调整HDInsight集群的时区及对HDInsight 进行定制化

2015-11-02 14:59:18 989

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除