自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Flint Join优化之Hint(优化器)

Flint Join优化之Hint(优化器)Flink目前主要有3种join :join :inner join,等值连接outerJoin :外连接,分为left-outer join(左连接)、right-outer join(右连接)、full-outer join(全外连接)cross : 笛卡尔积Flink提供了优化器“hint”(提示)以告诉join函数优化器...

2019-03-29 18:21:57 923

原创 hdp 2.6.2.14-ambari 2.5踩坑记

hdp 2.6.2.14-ambari 2.5踩坑记官方文档 https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/ch_Getting_Ready.html文章目录配置hosts设置SSH免密钥登录关闭防火墙关闭Selinux禁用Transparent保证系统语言是英文同...

2019-02-05 22:56:20 1084

原创 Centos7源码编译安装mysql5.7

Centos7源码编译安装mysql5.7文章目录1. 下载mysql 5.72. 安装编译需要的一些依赖3. 编译安装mysql3.1 生产编译环境3.2 编译mysql源码3.3 安装mysql4. 配置mysql4.1 编辑配置文件4.2 创建数据目录,赋予权限4.3 初始化数据库4.4 取消密码规则校验4.5 启动mysql4.6 修改密码4.7 开启局域网访问1. 下载mysql ...

2019-02-05 17:57:38 358

原创 Spark缓存级别

Spark缓存级别在spark中,如果一个rdd或者Dataset被多次复用,最好是对此做缓存操作,以避免程序多次进行重复的计算。Spark 的缓存具有容错机制,如果一个缓存的 RDD 的某个分区丢失了,Spark 将按照原来的计算过程,自动重新计算并进行缓存。缓存的使用: val dataset = spark.read.parquet(file) dataset.cache() 或者...

2019-02-04 12:07:52 2453

原创 ETL和ELT区别

ETL和ELT区别Extract / 提取 :从datasource/txt/csv/Excel/等原始数据源中 Extract数据。Transform / 转换 :将数据预处理,字段补全、类型检查、去除重复数据等,根据预定的条件将数据统一起来。Load / 装载 :将转换完的数据存到数据仓库中。ETLExtract - Transform - Load提取 - 转换 ...

2019-02-04 11:48:55 6516

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除