大数据之路
big data,big world。
URSpecial.
做自己不喜欢但应该做的事情,不做自己喜欢但不应该做的事情。
展开
-
Hive那些事儿 - Blog1
关于Hive那些事情@今天我也要加油鸭 Hive 安装和配置 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界...原创 2020-06-28 16:47:26 · 208 阅读 · 0 评论 -
Spark初相见-RDD/算子/执行流程/集群搭建
今天也要加油鸭~ 这是一份总结的学习笔记 路漫漫其修远兮,吾将上下而求索 可阅读可评论可分享可转载,希望向优秀的人学习 前言 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架,Spark拥有Hadoo...原创 2020-02-26 10:28:50 · 285 阅读 · 0 评论 -
用多种语言(Java和Scala)实现SparkWordCount(单词统计)
Java 优点:每一步都可以看到返回类型 缺点:代码量多 Scala 优点:简洁,可省略代码 缺点:不方便查看数据类型 Java实现版本 import javafx.scene.effect.FloatMap; import org.apache.spark.SparkConf; import java.lang.*; import java.util.Arrays; public cl...原创 2020-02-24 18:56:15 · 264 阅读 · 0 评论