大数据
文章平均质量分 75
悟能的师兄
有竞者、事竟成
展开
-
ES 关于text和keyword两种类型数据搜索区别
ElasticSearch 5.0以后,string类型有重大变更,移除了string类型,string字段被拆分成两种新的数据类型:用于全文搜索的,而用于关键词搜索。原创 2022-09-19 20:52:31 · 13961 阅读 · 0 评论 -
Docker mongoDB 4.2.1 安装并收集springboot日志
一:docker安装好mongodb第一步:docker安装好mongodb[root@iZbp1gp1t778obaz5m8vk8Z /]# docker search mongo[root@iZbp1gp1t778obaz5m8vk8Z /]# docker pull mongo:latestTrying to pull repository docker.io/library/mongo ... latest: Pulling from docker.io/library/mon.原创 2020-12-17 21:13:50 · 2454 阅读 · 1 评论 -
Elasticsearch --- 聚合查询 - Metric (二)
一:聚合查询-Metric官网: 指标聚合官网文档:MetricMetric聚合分析分为单值分析和多值分析两类:#1、单值分析,只输出一个分析结果min,max,avg,sum,cardinality#2、多值分析,输出多个分析结果stats,extended_stats,percentile,percentile_rank,top hits二:Metric使用1、Avg(平均值)计算从聚合文档中提取的数值的平均值。POST /exams/_search?size=0原创 2020-09-16 18:16:57 · 8502 阅读 · 0 评论 -
Elasticsearch --- 聚合查询(一)
说明:该博客对于的Elasticsearch 的版本为6.5.3。在Mysql中,我们可以获取一组数据的最大值(Max)、最小值(Min)。同样我们能够对这组数据进行分组(Group)。那么对于Elasticsearch中我们也可以实现同样的功能,聚合有关资料官方文档内容较多,这里大概分两篇博客写这个有关Elasticsearch聚合。官方对聚合有四个关键字:Metric(指标)、Bucketing(桶)、Matrix(矩阵)、Pipeline(管道)。一、聚合概念1. ES聚合分...原创 2020-09-16 11:03:48 · 15480 阅读 · 3 评论 -
大数据,为什么要学习Hadoop
六月初到六月中旬,一转眼二十天过去了,又开始新的起点大数据1、Hadoop是个什么东东Hadoop是一个 开源的【分布式计算 + 分布式存储平台】,是一个大数据的基础架构,基于此进行开发。2、Haddop能做什么它能搭建大型数据仓库,PB级别数据的存储、处理、分析、统计等业务。主要的使用场景如:搜索引擎数据分析、海量日志分析【一般这个场景多】、商业智能【数据报表的呈现】、数据挖掘【沙子里淘金】 3...原创 2018-06-21 09:14:12 · 5820 阅读 · 0 评论 -
大数据场景-用户行为日志分析
用户日志:访问的系统属性:操作系统、浏览器类型访问特征:点击的URL、来源(referer)url [推广]、页面停留时间访问信息:session_id,访问IP价值:分析每个用户的使用场景频率高的业务点,分析每个用户的IP 【解析到城市信息】,根据用户浏览商品打浏览标签精准推荐商品 等等…数据处理有数据者有未来,有数据意味着每一份用户行为数据都是宝贵的资源。经过数据清洗,再...原创 2018-07-16 22:34:46 · 7752 阅读 · 0 评论 -
Hadoop HDFS + MapReduce 计算用户行为日志100万+ 300M数据
先提出一个简单需求:如下106.19.21.143 - - [18/Jul/2018:06:30:15 +0800] "GET /servicesmng/oauth/wx07bf81a51358a68f/snsapi_base.form?code=081noraq1NoR0q0t9Eaq1ROdaq1noraZ&state=https%3A%2F%2Fwechat.zhdsbang....原创 2018-07-18 21:47:01 · 14290 阅读 · 0 评论