【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob

最新推荐文章于 2022-03-20 15:56:21 发布
置顶 最新推荐文章于 2022-03-20 15:56:21 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： Azure 文章标签： azure DataBricks
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DBA_Huangzj/article/details/123410768
版权
本文介绍如何在Azure Databricks中通过Scala notebook访问Azure Blob存储。首先进行环境准备，创建Scala集群和notebook。接着配置访问权限，使用共享访问签名生成SAS令牌。在Databricks notebook中填入所需信息并执行脚本，成功装载Blob存储容器，能读取txt文件内容。
摘要由CSDN通过智能技术生成

本文属于【Azure Data Platform】系列。
接上文：【Azure Data Platform】ETL工具(20)——创建Azure Databricks
本文演示如何通过Azure Databricks访问Azure存储

环境准备

在前面的ADF章节，我们已经创建过存储账户，所以这里直接使用。但是对于Databricks，则需要使用额外配置，这里用notebook和Scala语言来实现。

创建Scala notebook前，先创建一个集群，使用前一篇的方式创建即可。然后按下图创建notebook：

在这里插入图片描述
选择语言和集群：
在这里插入图片描述
notebook 界面如下，另外可以看到方框处已经标识出语言。
在这里插入图片描述

配置访问

要访问存储账户，可以使用专门的账号，也可以使用【共享访问签名】，在存储账户下选择如下图的配置，并点击【生成

最低0.47元/天 解锁文章
發糞塗牆
关注
专栏目录
[Azure] databricks通过服务主体(service principals)和azure key vaults访问Blob storage
tyler880的专栏
04-02 770
是Azure Active Directory中的一个应用程序，它被授权访问Azure中的资源。此访问受到分配给服务主体的角色的限制，从而使您能够控制哪些资源可以访问以及在哪个级别上访问，使用专用应用程序服务主体service principals进行本地开发，可以在应用开发期间遵循最低特​权原则。如何将他们经脉全部打通，需要进行以下步骤：1，在创建一个blob storage,并创建一个容器container。2，在Azure Active Directory创建应用注册，并创建密钥。
azure blob_从Azure Databricks访问Azure Blob存储
culuo4781的博客
07-24 1238
azure blob We introduced Azure Databricks, how it is created and some of its important components in my previous article here. We will look at how we can work with Azure Blob Storage in Azure D...
【Azure Data Platform】ETL工具(20)——创建Azure Databricks
MVP黄钊吉（發糞塗牆）
03-10 691
本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】ETL工具(19)——Azure Databricks 本文演示如何创建一个Azure Databricks 创建资源 在Azure Portal上输入Databricks，就会出现对应的服务。然后点击进去。 点击创建： Azure的资源都属于某个特定的资源组，所以资源组是必填项，这里我使用新建一个： 输入工作区名称，在定价层里面，如果预算有限可以使用试用版，这里我使用标准版（因为我够预算☺.
Databricks文档04----使用 Azure Databricks 提取、转换和加载数据
人月神话
03-20 5340
使用 Azure Databricks 执行 ETL（提取、转换和加载数据）操作。 将数据从 Azure Data Lake Storage Gen2 提取到 Azure Databricks 中，在 Azure Databricks 中对数据运行转换操作，然后将转换的数据加载到 Azure Synapse Analytics 中。 本教程中的步骤使用 Azure Databricks 的 Azure Synapse 连接器将数据传输到 Azure Databricks。
使用 Azure Databricks 做ETL
zenglaoshi的博客
02-25 1632
使用 Azure Databricks 做ETL 本文使用 Azure Databricks 执行 ETL（提取、转换和加载数据）操作。将数据从 Azure Data Lake Storage Gen2 提取到 Azure Databricks 中，在 Azure Databricks 中对数据运行转换操作，然后将转换的数据加载到 Azure Synapse Analytics 中。 本文的步骤使用 Azure Databricks 的 Azure Synapse 连接器将数据传输到 Azure Da.
databrick-azure-spark-demo:Azure Databricks Spark演示
05-19
databrick-azure-spark-demo Azure Databricks Spark演示
【Azure Data Platform】ETL工具(22)——Azure Databricks与ADF整合
MVP黄钊吉（發糞塗牆）
03-13 1657
本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob 本文演示如何整合ADF和Azure Databricks 环境准备 前面已经演示过如何创建ADF和Azure Databricks，下面来演示如何整合它们。首先对于Azure Databricks，先要创建集群（集群是基础），然后创建一个表。 如下图导航： 会出现一个新界面，提示创建新表的配置。可以通过.
【Azure Data Platform】ETL工具(19)——Azure Databricks
MVP黄钊吉（發糞塗牆）
03-10 2815
本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】ETL工具(18)——ADF 迭代和条件活动（2） 这次来聊聊Azure Databricks 前言 之所以突然停下ADF的介绍转而向Azure Databricks， 是因为最近公司的项目已经呈现出ADF与Databricks的组合趋势。为了更好地运维公司的项目，有必要了解一下Databricks。并且大概介绍一下Azure Data Factory和Azure Databricks的关系。 什.
【Azure Data Platform】ETL工具(11)——ADF 数据流
MVP黄钊吉（發糞塗牆）
02-15 1346
本文属于【Azure Data Platform】系列。 接上文：【【Azure Data Platform】ETL工具(10)——ADF 集成运行时（Integration Runtimes，IR） 本文介绍ADF 的数据流 https://www.mssqltips.com/sqlservertip/6922/azure-data-factory-data-flows/ 前言 跟【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流转换数据不同，.
【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）
MVP黄钊吉（發糞塗牆）
01-06 1919
接上文：【Azure Data Platform】ETL工具(1)——Azure Data Factory简介 当我们的环境准备好之后，下面演示一下最简单的ADF 操作，本文将创建一个Azure Blob Storage和Azure SQL Database 作为数据传输的演示。 在ADF中，有一个“复制数据”工具，借助这个工具，可以把在不同地方（本地或云）的不同数据源中实现数据的传输。基本上支持你能想到的所有常规数据源，具体列表以这里为准：Supported data stores and formats
adf-adb-cicd-demo：用于Data Factory和Databricks的Azure DevOps yaml管道的示例
02-18
adf-adb-cicd-demo 适用于Data Factory和Databricks的Azure DevOps yaml管道的示例
azure-blob-to-s3:将文件从Azure Blob存储批量复制到Amazon S3
05-04
azure-blob-to-s3 将文件从Azure Blob存储批量复制到Amazon S3 完全流式传输 仅根据需要列出Azure Blob存储中的文件 以流方式将Azure二进制数据上传到S3 跳过不必要的上载（具有匹配密钥和Content-Length已在S3上） 重试（频繁）从Azure下载失败 为每个网络操作生成日志 对于较大的工作负载（文件数或字节数），应在存储桶所在的同一区域中从AWS运行此文件。 这将最大程度地降低成本，并提供可靠/快速/廉价的S3上传。 Azure将针对按字节向您收费。 安装 $ npm install --save azure-blob-to-s3 用法 原料药 var toS3 = require ( 'azure-blob-to-s3' ) toS3 ( { azure : { connection : '' , con
配置DataBricks Connect使用IntelliJ + sbt 连接 Azure Data Bricks Spark集群
qq_43537552的博客
06-27 943
配置DataBricks Connect使用IntelliJ + sbt 连接 Azure Data Bricks Spark集群 本文主要参考的是Azure官方文档：开发者工具：Databricks Connect 由于笔者使用的编程语言是Scala，涉及Python的配置部分跳过，但如果你使用Python，请仔细阅读上面连接中的官方文档，在Python版本方面，需要小心注意，仔细比照 databricks runtime 支持的 Python 版本和你的客户端安装的 Python 版本的差异，防止操作到
【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流转换数据
MVP黄钊吉（發糞塗牆）
01-24 2133
本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】ETL工具(4)——Azure Data Factory Debug 管道 本文介绍如何Debug ADF 的管道。
【Azure Data Platform】ETL工具(1)——Azure Data Factory简介
MVP黄钊吉（發糞塗牆）
01-04 2760
关于对数据的使用，除了存储（数据库），还有收集（ETL/ELT等）及分析。 由于工作需要，在边工作的过程中整理一下基于Azure Data Factory（ADF）的一些知识。 作为一个数据平台解决方案，数据收集是其中一个必要的部分。 在选择数据收集工具时，有几个点需要考虑（假定你的环境是基于云，这里的Azure）： 是否使用平台提供的？有很多厂商都提供了本地版和基于云版本的工具， 时效性 费用：当然，免费的工具就不建议商用了。 这系列文章针对的是Azure的ETL 工具Data Factory， 首先
从 Azure Databricks 访问 Azure Blob 存储
figosoar的专栏
06-28 374
暂时备用 https://docs.microsoft.com/zh-cn/azure/databricks/scenarios/store-secrets-azure-key-vault
【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure
MVP黄钊吉（發糞塗牆）
01-14 1230
本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制） 本文演示如何使用ADF 从本地数据源中复制数据到Azure中。 https://www.sqlshack.com/copy-data-from-on-premises-data-store-to-an-azure-data-store-using-azure-data-factory/ ...
Databricks文档01----Azure Databricks初探
人月神话
03-20 4642
Azure Databricks 是一个已针对 Microsoft Azure 云服务平台进行优化的数据分析平台。 Azure Databricks 提供了三种用于开发数据密集型应用程序的环境： - Databricks 数据科学工程 - Databricks 机器学习 - Databricks SQL **Databricks SQL** 为想要针对数据湖运行 SQL 查询、创建多种可视化类型以从不同角度探索查询结果，以及生成和共享仪表板的分析员提供了一个易于使用的平台。
azure云数据库_从Azure Databricks将数据加载到Azure SQL数据库
culuo4781的博客
07-23 881
azure云数据库 In this article, we will learn how we can load data into Azure SQL Database from Azure Databricks using Scala and Python notebooks. 在本文中，我们将学习如何使用Scala和Python笔记本从Azure Databricks将数据加...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值