Spark
五环旗
这个作者很懒,什么都没留下…
展开
-
修复集群——日记
网络管理 虚拟机通信原理VMware配置网络的3种方式:NAT、Host-Only、Bridgedhttps://blog.csdn.net/u014726937/article/details/52768463磁盘阵列基本原理 你还不知道raid吗?https://www.cnblogs.com/qiumingcheng/p/11226058.html...原创 2019-12-18 18:07:59 · 153 阅读 · 0 评论 -
SortShuffleWriter部分源码
SortShuffleWriter部分源码spark1.6以后,取消了基于hash的shuffle,只剩下基于sort的shuffle。现在只存在以下三种shuffle writer:BypassMergeSortShuffleWriterUnsafeShuffleWriterSortShuffleWriter其中,BypassMergeSortShuffleWriter实现带Hash...原创 2019-11-15 22:22:10 · 222 阅读 · 0 评论 -
linux常用命令收集(持续更新)
ganglia集群开启master:sudo /etc/init.d/ganglia-monitor restartsudo /etc/init.d/gmetad startsudo /etc/init.d/apache2 restart现在你可以使用以下命令访问ganglia webinterface:http://192.168.1.50/ganglia/slave端sudo ...原创 2019-04-09 22:36:08 · 176 阅读 · 1 评论 -
win下切换静态IP连接服务器bat文件
:: 设置IP地址set /p choice=请选择设置类型(1:静态IP / 2:自动获取IP):echo.if "%choice%"=="1" goto ip1if "%choice%"=="2" goto ip2goto main:ip1echo IP自动设置开始...echo.echo 正在设置IP及子网掩码cmd /c netsh interface ip set ...原创 2019-04-13 10:56:11 · 159 阅读 · 0 评论 -
SparkSession
翻译自:How to use SparkSession in Apache Spark 2.0 转载自: - SparkSession简单介绍 (是否为原创初始翻译不详) - Spark 2.0系列之SparkSession详解 (最后三节) 向原文作者以及原创翻译者的辛勤劳动致敬!前言 Apache Sp...转载 2019-04-09 16:12:45 · 710 阅读 · 0 评论 -
spark-core包源码编译以及打包运行
一、 集群环境下运行系统打包spark在maven projects视图选择Spark Project Parent POM(root),然后选中工具栏倒数第四个按钮(ship Tests mode)按下,这时Liftcycle中test是灰色的。接着按倒数第一个按钮进入Maven编译设置,在runner项设置VM option:(好像可以不设)-Xmx2g -XX:MaxPermSi...原创 2019-04-12 10:35:09 · 1025 阅读 · 1 评论 -
Spark分布式环境搭建
Spark从菜鸟到入门Spark初体验——wordcount词频统计Spark基础知识学习Spark单机版环境搭建Spark源码学习Spark分布式环境搭建Spark基准测试平台BigDataBench使用教程Spark分布式环境搭建1. 集群机器准备(1) 在VMware 中安装三台虚拟机,一台Ubuntu虚拟机作Master,一台Ubuntu虚拟机作slave01,一台...原创 2019-03-22 17:00:07 · 502 阅读 · 0 评论 -
Spark基准测试平台BigDataBench使用教程
【Spark从菜鸟到入门】spark初体验——wordcount词频统计spark基础知识学习spark单机版环境搭建spark源码学习spark分布式环境搭建spark基准测试平台BigDataBench使用教程1. BigDataBench简介大数据系统的蓬勃发展催生了大数据基准测试的研究,如何公正地评价不同的大数据系统以及怎样根据需求选取合适的系统成为了热点问题.然而,...原创 2019-03-22 16:12:39 · 3080 阅读 · 2 评论