![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
画龙点睛之笔
搞程序 变光光头
展开
-
RabbitMQ的介绍-1
什么是MQ? 消息总线(Message Queue),是一种跨进程、异步的通信机制,用于上下游传递消息。由消息系统来确保消息的可靠传递。 MQ的作用的? 应用解耦、异步、流量削锋、数据分发、错峰流控、日志收集等等… MQ衡量标准 服务性能、数据存储、集群架构 主流竞品分析 当前市面上mq的产品很多,比如RabbitMQ、Kafka、ActiveMQ、ZeroMQ和阿里巴巴捐献给Apache的RocketMQ。甚至连redis这种NoSQL都支持MQ的功能。 ActiveMQ ActiveMQ是apache出原创 2020-09-03 23:08:21 · 127 阅读 · 0 评论 -
使用spark对文件内容进行分组
1.首先打开spark 命令: bin/spark-shell 2.在spark中创建一个文件夹,在里面创建2个TXT文件 3 执行命令 sc 是上下文执行文件 textFile(“input”)是指定文件夹,.flatMap(.split(" ")) 是进行分组 .map((,1))是一种转化结构,.reduceByKey(+)是分组聚合 .collect打印结果 scala> ...原创 2020-05-02 12:56:58 · 656 阅读 · 0 评论 -
Spark学习-1
1、什么是Spark Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架 park拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的...原创 2020-04-30 23:08:24 · 157 阅读 · 0 评论