- 博客(6)
- 收藏
- 关注
RSS订阅原创 01-什么是数据中台
01-什么是数据中台大数据的本质是数据的融合，把原来各自孤立的各个系统的数据进行融合、拉通，从而对海量数据进行采集、存储、计算、加工和融合。并且通过对已有的数据分析历史和预测未来。“一切业务数据化，一切数据业务化”，IT时代不断通过各种信息化系统把业务以数据的形式沉淀下来，在传统的烟囱系统开发模式下，企业内部形成多个数据孤岛。在互联网和移动互联网时代产生了公众号、小程序、APP的多种形式的信息化手段，从而加深了系统之间的数据隔裂。散落在各处的数据无法统一使用，更别说支持企业的经营决策，国内的大公司提出了数
2021-09-06 16:51:24
260
原创 idea的database tools 中配置hive
idea的database tools 中配置hive起因在开发hive sql的时候需要到hue中运行、查看hive sql的语法错误很麻烦，hive能不能像mysql一样集成在idea开发工具中呢？答案是可以的。jdbc driver 下载由于我使用的CDH-6.3.2-1.cdh6.3.2这个版本的平台，所以要使用对应得jar包下载链接：cloudera cdh6 hive jdbc配置1. 选择dabase tools2. 选择数据源类型3. 配置connection typ
2020-09-10 12:22:12
845
原创 在cdh平台上搭建azkaban
azkaban3.80.1 安装文档下载获取Azkaban如果要安装azkaban， 需要下载源代码在本地编译。azkaban官网：https://azkaban.github.io/下载地址：https://github.com/azkaban/azkaban可以根据tags,选择你要版本azkaban 使用Gradle编译代码，需要java8以上的JDK。在类unix系统上，可以在项目根目录运行如下命令# Build Azkaban./gradlew build# Clea
2020-06-08 11:15:55
2574
2
原创 在cdh平台上创建新用户
操作背景cdh平台一般上使用root去安装平台，hadoop中权限是使用hdfs用户去操作的。所以常常会出现用户访问权限问题，如下图，权限没有配置好，即使使用root用户也会有权限问题。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQp4c5gZ-1586510736131)(44A9CF2E0B514AA4AA07AB35C5CB5B23)]尝试修改添加...
2020-04-10 17:27:10
5157
原创 scala 学习一
scala 下载和安装scala 官网http://www.scala-lang.org/download 下载需要的版本，确保scala_home/bin目录在系统的path中mac os和linux 系统的配置如下：REPL : read-evaluation-print-loop, scala解释器也被称为REPL，会快速编译scala代码为字节码，然后交给JVM执行。...
2020-01-21 15:26:57
250
原创 scala学习二（流程控制)
scala学习二（流程控制）scala 控制结构1. 条件表达式scala的条件表达式的语法结构和java是一样的，示例代码如下： /** * 条件 * @param condition * @return */ def conditional(condition: Int): Unit ={ if(condition > 5){ pr...
2020-01-21 15:24:21
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人