Scala
文章平均质量分 68
发量不足
耐心,自信来源于你强大的思想和知识基础
展开
-
[机器学习、Spark]Spark MLlib机器学习
机器学习是一门多领域的交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科,专门研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能.重新组织已有的知识结构使之不断改善自身的性能。机器学习分为2类:(1)有监督学习通过已有的训练样本(即已知数据以及其对应的输出)训练得到一个最优模型,再利用这个模型将所有的输人映射为相应的输出,对输出进行简单的判断从而实现分类的目的。如分类、回归和推荐算法都属于有监督学习。(2)无监督学习原创 2022-10-17 16:11:27 · 1473 阅读 · 67 评论 -
[平台运维、Hadoop]kafka streams概述
Kafka Streams是Apache Kafka开源项目的一个流处理框架,它是基于Kafka的生产者和消费者,为开发者提供了流式处理的能力,具有低延迟性.高扩展性、高弹性、高容错性的特点,易于集成到现有的应用程序中。KafkaStreams是一套处理分析Kafka中存储数据的客户端类库,处理完的数据可以重新写回Kafka,也可以发送给外部存储系统。原创 2022-10-01 09:56:52 · 1654 阅读 · 14 评论 -
Kafka分布式发布订阅消息系统
大数据系统面临的首要困难是海量数据之间该如何进行传输。Kafka、RabbitMQ、ActiveMQ等,Kafka 是专门为分布式高吞吐量系统而设计开发的,它非常适合在海量数据集的应用程序中进行清息传递。Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写,是一个基于Zookeeper系统的分布式发布订阅消息系统,该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。原创 2022-09-10 22:54:29 · 1898 阅读 · 12 评论 -
添加spark的相关依赖和打包插件(第六弹)
可以看到计算出的单词频数itcast(1)Hadoop(1)spark(1)hello(3)可以看到计算出的单词频数itcast(1)Hadoop(1)spark(1)hello(3)原创 2022-08-09 22:37:29 · 3539 阅读 · 13 评论 -
IDLE开发wordCount程序(第五弹)
以本地模式执行spark程序原创 2022-08-08 22:07:48 · 676 阅读 · 16 评论 -
体验第一个spark程序(第四弹)
先启动spark集群或者启动hdfs集群,如果之前有开启,则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群,集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群,集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在standalone模式下,连接到指定spark集群,默认端口号是7077。在spark目录下启动spark服务(未停止的,先停止在启动)启动Hadoop服务(未停止的,先停止在启动)遇到不能创建问题是因为。...原创 2022-08-07 11:54:45 · 1587 阅读 · 23 评论 -
搭建Spark开发环境
spark集群基础环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin原创 2022-07-31 21:27:30 · 630 阅读 · 15 评论 -
Spark的概念、特点、应用场景
Spark于2000年诞生于美国加州大学伯克利分校的AMP实验室,它是一个可应用于大规模数据处理的统一分析引擎。它是基于内存计算的大数据并行计算框架🎈🎈🎈Spark生态系统主要包含SparkCore.SparkSQL.SparkStreamingMIlibGraphX以及独立调度器介绍SparkCoreSpark核心组件,它实现了Spark的基本功能。SparkSQL用来操作结构化数据的核心组件在处理结构化数据时,开发人员无须编写MapReduce程序....原创 2022-07-31 00:02:08 · 6309 阅读 · 4 评论 -
Scala的模式匹配与样例类
Scala 提供了强大的模式匹配机制,最常见的模式匹配就是mateh语句,主要应用于从多个分支中进行选择的场景。不仅如此,Secala还提供了样例类,它可以对模式匹配进行优化,提高匹配的速率。原创 2022-07-29 20:04:37 · 797 阅读 · 2 评论 -
Scala面向对象的特征
Scala是一种面向对象的语言,并且运行在JVM中。原创 2022-07-29 19:58:00 · 584 阅读 · 11 评论 -
Scala的数据结构(步入家门)
Scala中的数组分为定长数组和变长数组,这两种数组的定义方式如下newArray[T](数组长度)//定义定长数组//定义变成数组。原创 2022-07-19 10:19:22 · 751 阅读 · 26 评论 -
filebeat的配置
配置原创 2022-07-01 10:08:01 · 209 阅读 · 11 评论 -
Scala的安装和IDEA的使用(初入茅庐)
Scala的安装和IDEA的使用(初入茅庐)原创 2022-03-06 15:55:09 · 4445 阅读 · 7 评论