
大数据
文章平均质量分 90
大数据组件学习笔记
Demonslzh6
这个作者很懒,什么都没留下…
展开
-
同为消息中间件,Kafka与ActiveMQ的区别对比
文章目录一、Kafka和ActiveMQ基本对比二、从消费模式看activemq与kafka三、应用场景总结我们知道,在大数据开发过程中我们经常会使用到消息队列类型的组件。消息队列中间件主要用来实现异步消息、应用解耦、流量削峰等功能。那么,业务中常见的就是Kafka与ActiveMQ。同为消息中间件,二者的区别究竟在哪里,今天我们就做一个简单的对比。。一、Kafka和ActiveMQ基本对比ActiveMQ被称为“传统”mq。所谓“传统”是指,他要支持一些标准接口,比如AMQP, STOMP等需要维原创 2021-10-20 17:23:09 · 4483 阅读 · 0 评论 -
ES学习笔记——ES入门:多条件查询、聚合、过滤、排序
文章目录一、es基础:轻量查询1、 增`PUT index_name/type_name/id`2、查(常用关键词)2.1 轻量查询:使用 ***_search***2.2 查询表达式2.2.1`match:匹配`2.2.2 `match_phrase:短语搜索`2.2.3 `range:过滤器,用于范围查询`二、ES聚合2.1`_bulk:批量添加数据`2.2 `_mapping操作`2.3 简单聚合2.4 添加度量指标聚合2.5 嵌套桶统计最大最小值2.6 按时间聚合统计每月汽车销量多条件时间聚合一原创 2020-11-12 13:59:07 · 10607 阅读 · 0 评论 -
Pyspark配置安装以及在jupyter中交互+常见报错(Py4JError: org.apache.spark.api.python.PythonUtils....)解决
文章目录方法一:命令行启动方法二:使用findspark实例代码常见报错解决想看更多?在这里并不详细讲述spark的安装过程,默认已经配置完毕首先第一步是安装pyspark,直接使用pip安装在使用之前要确保SPARK_HOME环境变量已经配置好接着启动pyspark有两种方法方法一:命令行启动首先启动spark,在命令行中输入以下命令,这样就能直接在jupyter中编辑环境变量了。pyspark --master spark://127.0.0.1:7077 --num-executors原创 2020-07-23 21:13:57 · 6489 阅读 · 2 评论