BigData
Ostrich5yw
I'm here,As always
展开
-
大数据——Hadoop学习笔记(配置)
具体代码可以参考:https://github.com/Ostrich5yw/java4BigData原创 2022-05-08 19:37:24 · 357 阅读 · 0 评论 -
大数据——Hadoop学习笔记(底层逻辑)
原创 2022-05-08 19:36:35 · 462 阅读 · 0 评论 -
大数据——Hadoop学习笔记
原创 2022-05-08 19:30:46 · 293 阅读 · 0 评论 -
大数据——Zookeeper学习笔记(配置)
具体代码可以参考:https://github.com/Ostrich5yw/java4BigData原创 2022-05-08 19:27:37 · 354 阅读 · 0 评论 -
大数据——Zookeeper学习笔记
具体代码可以参考:https://github.com/Ostrich5yw/java4BigData原创 2022-05-08 19:23:20 · 289 阅读 · 0 评论 -
大数据——Hive学习笔记(配置)
具体代码可以参考:https://github.com/Ostrich5yw/java4BigData原创 2022-05-07 15:11:11 · 86 阅读 · 0 评论 -
大数据——Hive学习笔记
具体代码可以参考:https://github.com/Ostrich5yw/java4BigData原创 2022-05-07 15:09:42 · 100 阅读 · 0 评论 -
大数据——Spark学习笔记(配置)
Spark运行环境spark ui web http://hadoop102:8080历史服务器 http://hadoop102:18080一. 本地模式(Local)——单机运行本地模式:运行bin/spark-shell提交应用:运行bin/spark-submit--class org.apache.spark.examples.SparkPi //待执行程序的主类--master local[2]原创 2022-05-07 15:00:04 · 337 阅读 · 0 评论 -
大数据——SparkStreaming学习笔记
Spark一、SparkStreaming Spark Streaming 用于流式数据的处理(准实时,微序列)。Spark Streaming 支持的数据输入源很多,例如:Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语,如:map、reduce、join、window 等进行运算。而结果也能保存在很多地方,如 HDFS,数据库等。**DStream(离散化流,discretized stream)**是随时间原创 2022-05-07 14:54:37 · 333 阅读 · 0 评论 -
大数据——SparkSQL学习笔记
Spark一、SparkSQL简介 Spark用来处理结构化数据的一个模块,它提供了两个编程抽象分别叫做DataFrame和DataSet,它们用于作为分布式SQL查询引擎(类似于Hive,为便于进行MapReduce操作而使用类SQL语句进行Spark操作)。➢ 数据兼容方面 SparkSQL 不但兼容 Hive,还可以从 RDD、parquet 文件、JSON 文件中获取数据,未来版本甚至支持获取 RDBMS 数据以及 cassandra 等 NOSQL 数据;➢ 性能优化方面 除了采取 In原创 2022-05-07 14:52:19 · 558 阅读 · 0 评论 -
大数据——SparkCore学习笔记
Spark一、Spark简介Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎Spark Core 中提供了 Spark 最基础与最核心的功能Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL,用户可以使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据。Spark Streaming 是 Spark 平台上针对实时数据进行流式计算的组件,提供了丰富的处理数据流的API。Spark 和Hadoop原创 2022-05-07 14:49:33 · 647 阅读 · 0 评论 -
大数据——Kafka学习笔记(配置)
原创 2022-05-07 14:43:05 · 219 阅读 · 0 评论 -
大数据——Kafka学习笔记
具体代码可以参考:https://github.com/Ostrich5yw/java4BigData/tree/master/java4Kafka原创 2022-05-07 14:39:56 · 432 阅读 · 0 评论 -
SparkContext: Error initializing SparkContext解决方法
SparkContext: Error initializing SparkContext解决方法Spark在配置高可用集群中,出现报错ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectExcep原创 2021-11-01 17:51:27 · 23624 阅读 · 2 评论