【Scala&Spark】
文章平均质量分 96
CBeann
大厂高级Java开发工程师,CSDN博客专家,阿里云博客专家,专注于后端技术的分享。如果你迷茫,不妨来瞅瞅码农的轨迹。模拟面试简历辅导、内推加VX:CHAI956056312
展开
-
Spark查询Hbase小案例
写作目的1)正好有些Spark连接HBase的需求,当个笔记本,到时候自己在写的时候,可以看2)根据rowkey查询其实我还是查询了好久才找到,所以整理了一下3)好久没发博客了,水一篇版本Scala2.11.1Spark 2.11HBase2.0.5代码其中hbase-site.xml为hbase安装目录下/hbase/conf里的hbase-site.xmlpom依赖 <properties> <mysql....原创 2020-11-14 21:17:27 · 940 阅读 · 0 评论 -
Scala写Spark笔记
学习感悟(1)配置环境最费劲(2)动手写,动手写,动手写WordCountpackage wordcountimport org.apache.spark.{SparkConf, SparkContext}/** * @author CBeann * @create 2019-08-10 18:02 */object WordCount { def m...原创 2019-08-14 19:34:45 · 452 阅读 · 0 评论 -
Spark Shell笔记
学习感悟(1)学习一定要敲,感觉很简单,但是也要敲一敲,不要眼高手低(2)一定要懂函数式编程,一定,一定(3)shell中的方法在scala写的项目中也会有对应的方法(4)sc和spark是程序的入口,直接用SparkShell启动SparkShell ./bin/spark-shellWordCount案例sc.textFile("hd...原创 2019-08-10 20:27:08 · 2711 阅读 · 0 评论 -
Spark(单机版)安装
环境hadoop-2.7.2https://pan.baidu.com/s/10WSRBljmM9vGhS7PHz9NSgspark-2.1.1-bin-hadoop2.7链接:https://pan.baidu.com/s/13gHKbWYPRVoq7OjVaURPRQ提取码:p3z3复制这段内容后打开百度网盘手机App,操作更方便哦hadoop安装(单机版)ht...原创 2019-07-12 20:29:44 · 634 阅读 · 0 评论