weixin_43744732的博客

自定义函数开发环境搭建1.根据教程搭建好客户端odpscmdhttps://help.aliyun.com/document_detail/27971.html2.用idea安装MaxCompute Studiohttps://help.aliyun.com/document_detail/50892.html3.连接dataworks项目https://help.aliyun.com/document_detail/50855.html4.编写自定义函数https://help.aliyun.co

首先我们先查看一下osswriter插件的目录，有个具体的印象目录下面的doc文件就是osswriter的markdown文档，可以先阅读一下。然后在src/main目录下面有assembly文件夹和java文件夹，assembly里面是打包的xml可以不用管，主要看java文件夹里面的代码里面有个util文件下面的ossutil主要用于初始化oss的客户端constant文件主要用于记录一些固定的常量，比如刚刚上面初始化oss客户端的超时时间key文件主要用于记录一些oss重要的关键字OssWriterE

Clickhouse调研ClickHouse是什么ClickHouse是一个存储计算一体的工具，其与spark，flink等大数据框架不同的在于它有自己的存储层，在数据压缩，存储上做了更多的优化，所以导致它在某些数据处理能力上比其他工具快上了不少，毕竟一般框架只是在计算层面上下功夫做优化。为什么选择ClickHouseClickHouse有非常多的特点，但这里我只选择我认为比较重要的说：灵活多变：分析场景下，随着业务变化要及时调整分析维度、挖掘方法，以尽快发现数据价值、更新业务指标。而数据仓库中

从0到1构建数据仓库思路：0.建议先和运营构建业务数据矩阵如下表，是业务数据矩阵的表示方法，其中每一列是一个业务主题，每一行是一个数据主题。业务主题：我们可以将一个业务主题理解为运营的一条业务，或者说数据仓库仓库待建设的一个数据集市。数据主题：一般来讲，我们会侧重于将数据主题理解为行为数据主题，比如说登陆、点击、下载等行为主题。如果了解了什么是业务数据矩阵，那么它的作用就很容易被理解。简单来讲：能够帮助数据仓库架构师清晰地梳理整个数据体系。能够帮助决策者（各位老板）从宏观的角度了解数据

java $numberlong 解决方法问题：我们存在mongo中带有数据类型，如图

阿里云数据仓库体系目前构建数据仓库的技术主要为开源框架，像Hadoop，hive，kafka，flink，spark等等，如果自己从0到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库，阿里云技术框架如下：阿里云产品介绍类比DataHub数据总线Kafka+dataxE-MapReduce开源大数据计算框架上面所说的从0到1用开源框架去搭建数据仓库，适用于已搭建了数据仓库的公司进行改造升级。MaxCompute阿里黑盒大

数据仓库理论是指导实践的基石，所以先过一遍理论可以为未来操作提供良好的基础。什么是数据仓库（what）构建面向分析的集成化数据环境，为企业提供决策支持。说白了就是存放很多按主题分类且不常变动数据的地方，这些数据主要有几个特征分别是面向主题，集成的，相对稳定的，反映历史变化的。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因，数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。为什么要用数据仓