BigData 技术学习
文章平均质量分 66
BigData和数据仓库相关技术学习和总结
克念
这个作者很懒,什么都没留下…
展开
-
Adaptive Execution如何让Spark SQL更高效更好用?
文章目录背景 动态设置 Shuffle Partition Spark Shuffle 原理 原有 Shuffle 的问题 自动设置 Shuffle Partition 原理 使用与优化方法 动态调整执行计划 固定执行计划的不足 SortMergeJoin 原理 BroadcastJoin 原理 动态调整执行计划原理 使用与优化方法 自动处理数据倾...转载 2020-01-19 10:50:20 · 265 阅读 · 0 评论 -
spark本地开发环境搭建(maven + scala + java)
开发工具和软件版本信息 IDEA 2019.2 JAVA 1.8 Scala 2.11.12 Spark 2.4.3 Hadoop 2.7.7 Windows ...原创 2019-06-23 13:11:18 · 1533 阅读 · 1 评论 -
Scala环境搭建(windows10)
安装方式Sbt安装.Sbt是Scala的构建工具,可以通过它来安装ScalaIDE 安装比如IntelliJ其它方式通过二进制文件直接安装Scala开始安装Java8安装打开命令行,执行 java -version检查Java的版本,如果没有安装Java8,下载安装,链接:https://www.oracle.com/technetwork/java/javase/do...原创 2019-04-14 13:15:26 · 476 阅读 · 0 评论 -
Hadoop 伪分布式环境, jobhistory 配置信息引起的报错
Hadoop 版本 2.6.5 Ubuntu Linux 伪分布式环境之前我的Hadoop环境因为运行时报了下面的错误:ava.io.IOException: java.net.ConnectException: Call From localhost.localdomain/127.0.0.1 to 0.0.0.0:10020 failed on connection exception: ...原创 2018-04-11 18:17:05 · 1099 阅读 · 0 评论 -
Hadoop 伪分布式搭建(2.6.5)
Hadoop2和Hadoop1是不一样的,所以专门为了Hadoop2 做了一个记录。 我的环境是Ubuntu 16.4 首先确保Java已经安装完毕,并且环境变量已经配置OK,具体的细节我就不在这里讲解了。 然后确保ssh已经安装好,sshd需要启动并且使用Hadoop的脚本管理远程的Hadoop节点。 安装ssh相关:sudo apt-get install sshsudo apt-...原创 2018-04-11 14:52:11 · 441 阅读 · 0 评论 -
Hadoop java运行时内存不足
服务器是一个云服务器,内存为1G,CPU为1核。然后执行一个Hadoop本身自带的example报错的。报错信息如下:There is insufficient memory for the Java Runtime Environment to continue.Native memory allocation (mmap) failed to map 12288 bytes for commi...原创 2018-04-11 14:51:39 · 2615 阅读 · 0 评论 -
在AWS的Linux Server下安装SSL证书
背景: 最近在AWS 上面个申请了一个云 服务器,Linux系统,Linux的版本为他们AWS自己的Linux服务器。但是我使用的过程中发现,其实该Linux 系统的使用方式和Centos基本一致。现在有个需求就是,在这个服务器上面需要安装一个Apache2 服务器,并且需要支持SSL。现在Apache服务器已经安装完毕,只需要再安装一下SSL组件,配置下SSL的证书。之前已经给这个服务器申请了原创 2017-11-03 18:51:28 · 2165 阅读 · 0 评论