大数据其他相关技术原理
分享
文章平均质量分 85
大数据相关其他技术原理，收集一些与大数据技术相关的技术，偏后端业务的多，本栏目长期特价9.9，作为一个体验性的栏目，火热🔥订阅中，随着栏目内容丰富升级，随时升到原价99，所以早买不会亏，知识学到才是自己的
超级会员免费看
Lansonli
CSDN大数据领域博客专家，InfoQ写作社区2022年度影响力作者、华为云社区2022年度十佳博主、华为云享专家、阿里云专家博主、腾讯云开发者社区2022年度最佳作者、腾云先锋（TDP）核心成员、51CTO专家博主，全网二十万多粉丝，知名互联网公司大数据高级开发工程师
展开
-
大数据ELK（二十八）：制作Dashboard
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录制作Dashboard一、点击第三个组件图标，并创建一个新的Dashboard二、点击Edit编辑Dashboard三、依次添加我们之前制作好的图表制作Dashboard接下来，我们把前面的几个图形放到一个看板中。这样，我们就可以在一个看板中，浏览各类数据了。一、点击第三个组件图标，并创建一个新的Dashboard二、点击Edit编..原创 2021-12-17 07:30:00 · 1633 阅读 · 2 评论 -
大数据ELK（二十七）：数据可视化（Visualize）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录数据可视化（Visualize）一、数据可视化的类型二、以饼图展示404与200的占比三、以条形图方式展示2020年5月每日请求数四、以TSVB可视化不同访问来源的数据五、制作用户选择请求方式、响应字节大小控制组件1、控制组件2、Kibana开发数据可视化（Visualize）Kibana中的Visualize可以基于Elastics..原创 2021-12-16 06:30:00 · 2489 阅读 · 4 评论 -
大数据ELK（二十六）：探索数据（Discovery）
探索数据（Discovery）通过Kibana中的Discovery组件，我们可以快速地进行数据的检索、查询。一、使用探索数据功能点击按钮可以打开Discovery页面。我们发现没有展示任何的数据。但我们之前已经把数据导入到Elasticsearch中了。Kibana提示，让我们扩大我们的查询的时间范围默认Kibana是展示最近15分钟的数据。我们把时间范围调得更长一些，就可以看到数据了将时间范围选择为1年范围内的，我们就可以查看到Elasticsearc...原创 2021-12-15 06:45:00 · 1460 阅读 · 2 评论 -
大数据ELK（二十五）：添加Elasticsearch数据源
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录添加Elasticsearch数据源一、Kibana索引模式添加Elasticsearch数据源一、Kibana索引模式可以通过定义索引模式（Index Patterns）来对应匹配Elasticsearch索引。在第一次访问Kibana的时候，系统会提示我们定义一个索引模式。或者我们可以通过点击按钮，再点击Kibana下方的Index Patterns，来创..原创 2021-12-14 07:30:00 · 1463 阅读 · 5 评论 -
大数据ELK（二十四）：安装Kibana
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。安装Kibana在Linux下安装Kibana，可以使用Elastic stack提供 tar.gz压缩包。官方下载地址：Kibana 7.6.1 | Elastic1、解压Kibana gz压缩包tar -xzf kibana-7.6.2-linux-x86_64.tar.gz2、进入到Kibana目录cd kibana-7.6.2-linux-x86_..原创 2021-12-13 07:00:00 · 820 阅读 · 2 评论 -
大数据ELK（二十三）：Kibana简介
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。Kibana简介通过上面的这张图就可以看到，Kibana可以用来展示丰富的图表。Kibana是一个开源的数据分析和可视化平台，使用Kibana可以用来搜索Elasticsearch中的数据，构建漂亮的可视化图形、以及制作一些好看的仪表盘 Kibana是用来管理Elastic stack组件的可视化平台。例如：使用Kibana可以进行一些安全设置、用户角色设置、对Elas..原创 2021-12-12 07:00:00 · 3898 阅读 · 2 评论 -
大数据ELK（二十二）：采集Apache Web服务器日志
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录采集Apache Web服务器日志一、需求二、准备日志数据三、使用FileBeats将日志发送到Logstash四、配置Logstash接收FileBeat数据并打印五、Logstash输出数据到Elasticsearch1、重新拷贝一份配置文件2、将output修改为Elasticsearch3、重新启动Logstash4、追加一条日志到..原创 2021-12-11 07:30:00 · 1356 阅读 · 6 评论 -
大数据ELK（二十一）：Logstash简介和安装
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Logstash简介和安装一、简介1、经典架构2、对比Flume3、对比FileBeat二、安装Logstash1、切换到lanson用户2、下载Logstash3、解压Logstash到指定目录4、运行测试Logstash简介和安装一、简介Logstash是一个开源的数据采集引擎。它可以动态地将不同来源的数据统一采集，并按照指..原创 2021-12-10 12:30:00 · 1395 阅读 · 6 评论 -
大数据ELK（二十）：FileBeat是如何工作的
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录FileBeat是如何工作的一、input和harvester1、inputs（输入）2、Harvesters（收割机）二、FileBeats如何保持文件状态FileBeat是如何工作的FileBeat主要由input和harvesters（收割机）组成。这两个组件协同工作，并将数据发送到指定的输出。一、input和harvester1、i..原创 2021-12-09 11:45:00 · 1027 阅读 · 5 评论 -
大数据ELK（十九）：使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录使用FileBeat采集Kafka日志到Elasticsearch一、需求分析二、配置FileBeats1、input配置2、output配置三、配置文件1、创建配置文件2、复制一下到配置文件中四、运行FileBeat1、运行FileBeat2、将日志数据上传到/var/kafka/log，并解压五、查询数据1、查看索引信息..原创 2021-12-08 10:30:00 · 4417 阅读 · 9 评论 -
大数据ELK（十八）：Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Beats 简单介绍和FileBeat工作原理一、Beats二、FileBeat简介三、FileBeat的工作原理四、安装FileBeatBeats 简单介绍和FileBeat工作原理一、BeatsBeats是一个开放源代码的数据发送器。我们可以把Beats作为一种代理安装在我们的服务器上，这样就可以比较方便地将数据发送到Elasticsearch..原创 2021-12-07 09:00:00 · 1122 阅读 · 3 评论 -
大数据ELK（十七）：Elasticsearch SQL 订单统计分析案例
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录订单统计分析案例一、案例介绍二、创建索引三、导入测试数据四、统计不同支付方式的的订单数量1、使用JSON DSL的方式来实现2、基于Elasticsearch SQL方式实现五、基于JDBC方式统计不同方式的订单数量六、统计不同支付方式订单数，并按照订单数量倒序排序七、只统计「已付款」状态的不同支付方式的订单数量八、统计不同状态的订单总..原创 2021-12-06 07:00:00 · 2587 阅读 · 9 评论 -
大数据ELK（十六）：Elasticsearch SQL（职位查询案例）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录职位查询案例一、查询职位索引库中的一条数据二、将SQL转换为DSL三、职位scroll分页查询1、第一次查询2、第二次查询3、清除游标四、职位全文检索1、需求2、MATCH函数3、实现职位查询案例一、查询职位索引库中的一条数据format：表示指定返回的数据类型//1.查询职位信息GET/_sql?form...原创 2021-12-05 09:00:00 · 1026 阅读 · 6 评论 -
大数据ELK（十五）：Elasticsearch SQL简单介绍
Elasticsearch SQLElasticsearch SQL允许执行类SQL的查询，可以使用REST接口、命令行或者是JDBC，都可以使用SQL来进行数据的检索和数据的聚合。原创 2021-12-04 11:30:00 · 2912 阅读 · 2 评论 -
大数据ELK（十四）：Elasticsearch编程（基本操作）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录基本操作一、根据ID检索指定职位数据2、编写测试用例二、修改职位1、实现步骤2、编写测试用例三、根据文档ID删除职位1、实现步骤2、编写测试用例四、根据关键字检索数据1、实现步骤2、编写测试用例五、分页检索1、实现步骤2、编写测试用例六、scroll分页检索1、实现步骤2、编写测试用例七、高亮查询1...原创 2021-12-02 00:15:20 · 2756 阅读 · 0 评论 -
大数据ELK（十三）：Elasticsearch编程（添加职位数据）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、添加职位数据1、初始化客户端连接2、实现关闭客户端连接3、编写代码实现新增职位数据4、编写测试用例测试添加方法Elasticsearch编程一、添加职位数据1、初始化客户端连接使用RestHighLevelClient构建客户端连接。 基于RestClient.builder方法来构建RestClie..原创 2021-11-29 23:55:20 · 2073 阅读 · 2 评论 -
大数据ELK（十二）：Elasticsearch编程（环境准备）
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch编程一、环境准备1、准备IDEA项目结构2、准备POM依赖3、创建用于保存职位信息的实体类4、编写接口和实现类5、创建实现类Elasticsearch编程要将搜索的功能与前端对接，我们必须要使用Java代码来实现对Elasticsearch的操作。我们要使用一个JobService类来实现之前我们用RESTFul完...原创 2021-11-27 00:25:07 · 2230 阅读 · 5 评论 -
大数据ELK（十一）：Elasticsearch架构原理
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录Elasticsearch架构原理一、Elasticsearch的节点类型1、Master节点2、DataNode节点二、分片和副本机制1、分片（Shard）2、副本3、指定分片、副本数量三、Elasticsearch重要工作流程1、Elasticsearch文档写入原理2、Elasticsearch检索原理四、Elasticsea..原创 2021-10-04 22:27:37 · 1139 阅读 · 12 评论 -
大数据ELK（十）：使用VSCode操作猎聘网职位搜索案例
猎聘网职位搜索案例一、需求本次案例，要实现一个类似于猎聘网的案例，用户通过搜索相关的职位关键字，就可以搜索到相关的工作岗位。我们已经提前准备好了一些数据，这些数据是通过爬虫爬取的数据，这些数据存储在CSV文本文件中。我们需要基于这些数据建立索引，供用户搜索查询。数据集介绍 字段名 说明 数据 doc_id 唯一标识（作为文档ID） 29097 are.原创 2021-10-01 14:56:35 · 3587 阅读 · 15 评论 -
大数据ELK（九）：使用VSCode测试分词器
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章使用VSCode测试分词器一、准备VSCode开发环境二、测试分词器1、打开VSCode2、新建一个文件，命名为0.IK分词器测试.es3、右键点击命令面板 菜单4、选择ES:Elastic: Set Host，然后输入Elasticsearch的机器名和端口号5、将以下内容复制到ES中，并测试系列历史文章2021年大数...原创 2021-09-28 22:13:24 · 1147 阅读 · 4 评论 -
大数据ELK（八）：Elasticsearch安装IK分词器插件
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装IK分词器一、下载Elasticsearch IK分词器二、切换到lanson用户，并在es的安装目录下/plugins创建ik三、将下载的ik分词器上传并解压到该目录四、将plugins下的ik目录分发到每一台服务器五、重启Elasticsearch系列历史文章2021年大数据ELK（八）：Elasticsearch安装IK分..原创 2021-09-27 00:16:46 · 1181 阅读 · 11 评论 -
大数据ELK（七）：安装Elasticsearch-head插件
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch-head插件一、安装nodejs1、下载安装包2、创建软连接3、修改环境变量二、在线安装（网速慢，不推荐）1、在线安装必须依赖包2、从git上面克隆编译包并进行安装3、node1机器修改Gruntfile.js4、node01机器修改app.js三、本地安装（推荐）1、上传压缩包到/e..原创 2021-09-25 18:44:30 · 2271 阅读 · 9 评论 -
大数据ELK（六）：安装Elasticsearch
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装Elasticsearch一、创建普通用户二、为普通用户itcast添加sudo权限三、上传压缩包并解压四、修改配置文件1、修改elasticsearch.yml2、修改jvm.option五、将安装包分发到其他服务器上面六、node2与node3修改es配置文件七、修改系统配置，解决启动时候的问题1、普通...原创 2021-09-21 23:02:44 · 1030 阅读 · 6 评论 -
大数据ELK（五）：Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。系列历史文章2021年大数据ELK（五）：Elasticsearch中的核心概念2021年大数据ELK（四）：Lucene的美文搜索案例2021年大数据ELK（三）：Lucene全文检索库介绍2021年大数据ELK（二）：Elasticsearch简单介绍2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介Elasticsea...原创 2021-09-19 22:51:15 · 1317 阅读 · 6 评论 -
大数据ELK（四）：Lucene的美文搜索案例
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章美文搜索案例一、需求二、准备工作1、创建IDEA项目2、创建父工程3、添加lucene模块4、导入Maven依赖5、创建包和类6、导入文章数据三、建立索引库1、实现步骤2、参考代码四、关键字查询1、需求2、准备工作3、开发步骤4、参考代码五、搜索词语问题六、分词器与中文分词器七、使用...原创 2021-09-18 23:32:05 · 2619 阅读 · 17 评论 -
大数据ELK（三）：Lucene全文检索库介绍
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、什么是全文检索1、结构化数据与非结构化数据2、搜索结构化数据和非结构化数据3、全文检索二、Lucene简介三、倒排索引结构四、企业中为什么不直接使用Lucene1、Lucene的内建不支持分布式2、区间范围搜索速度非常缓慢3、可靠性无法保障系列历史文章2021年大数据ELK（三）：Lucene全文检索库介绍..原创 2021-09-12 21:54:06 · 1656 阅读 · 3 评论 -
大数据ELK（二）：Elasticsearch简单介绍
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、Elasticsearch简介1、介绍2、创始人二、Elasticsearch可以做什么1、信息检索2、企业内部系统搜索3、数据分析引擎三、Elasticsearch特点1、海量数据处理2、开箱即用3、作为传统数据库的补充四、哪些公司在使用Elasticsearch五、ElasticSearch使用案...原创 2021-09-11 17:59:12 · 2382 阅读 · 13 评论 -
大数据ELK（一）：集中式日志协议栈Elastic Stack简介
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章一、简介二、ELK 协议栈介绍及体系结构三、集中式日志协议栈组件功能简介系列历史文章2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介一、简介日常工作中会面临很多问题，处理问题时候。怎么解决问题？通过工作经验，迅速判断问题出在哪。 通过日志 系统日志：/var/log 目录下的问题的文件 程序日志...原创 2021-09-11 13:45:21 · 1223 阅读 · 3 评论 -
Mysql悲观锁以及乐观锁案例说明
悲观锁介绍：悲观锁，正如其名，它指的是对数据被外界（包括本系统当前的其他事务，以及来自外部系统的事务处理）修改持保守态度，因此，在整个数据处理过程中，将数据处于锁定状态。悲观锁的实现，往往依靠数据库提供的锁机制（也只有数据库层提供的锁机制才能真正保证数据访问的排他性，否则，即使在本系统中实现了加锁机制，也无法保证外部系统不会修改数据）。使用场景举例：以MySQL InnoDB为例...原创 2020-01-07 23:59:34 · 926 阅读 · 1 评论 -
HTTPS工作原理
前言最近在面试中被问到了HTTPS的相关问题，加上密码学也刚好学到公钥密码学，我就趁热打铁，整理一下HTTPS相关知识。1.HTTPS简介HTTPS（全称：Hyper Text Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。下图描述了在TCP/IP协议栈中TLS(各子协议）和HTTP的关系...原创 2019-11-12 00:30:33 · 709 阅读 · 1 评论 -
深入理解Nginx工作原理
1 反向代理1.1 概念反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。举个例子，比如我想访问 http://www.test.com/readme，但www.test.com上并不存在readme页面...原创 2019-10-28 23:26:33 · 848 阅读 · 0 评论 -
thinkphp5.1 中间件是什么有什么用
中间件是什么？有什么作用？中间件主要用于拦截或过滤应用的HTTP请求，并进行必要的业务处理。---tp5.1手册也就是说，降低了系统的耦合；【在http请求阶段，执行中间件的入口执行方法（handle）--tp5.1】----减少了系统的一些if/else判断，因此降低了系统的耦合中间件可以实现什么功能，例如权限验证，访问记录，重定向等等。-----这些业务的存在降低了耦合Think...原创 2019-10-27 17:05:55 · 1355 阅读 · 3 评论 -
亿级商品详情页架构演进技术解密
商品详情页是什么商品详情页是展示商品详细信息的一个页面，承载在网站的大部分流量和订单的入口。京东商城目前有通用版、全球购、闪购、易车、惠买车、服装、拼购、今日抄底等许多套详情页模板，通过一些特殊属性、商家类型和打标来区分，每套模板数据是一样的，核心逻辑基本一样，但是一些前端逻辑是有差别的。目前商品详情页个性化需求非常多，数据来源也是非常多的（目前统计后端有差不多数十个依赖服务），而且...原创 2019-10-27 16:08:30 · 1083 阅读 · 0 评论 -
最全面的缓存架构设计
一、缓存技术和框架的重要性互联网的一些高并发，高性能的项目和系统中，缓存技术是起着功不可没的作用。缓存不仅仅是key-value的简单存取，它在具体的业务场景中，还是很复杂的，需要很强的架构设计能力。我曾经就遇到过因为缓存架构设计不到位，导致了系统崩溃的案例。二、缓存的技术方案分类1）是做实时性比较高的那块数据，比如说库存，销量之类的这种数据，我们采取的实时的缓存+数据库双写的技术方案...原创 2019-10-27 14:50:53 · 997 阅读 · 0 评论 -
zookeeper原理特点案例
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的...原创 2019-10-26 23:29:38 · 624 阅读 · 0 评论 -
Cache Aside Pattern（缓存模式）
本文主要讨论这么几个问题：（1）“缓存与数据库”需求缘起（2）“淘汰缓存”还是“更新缓存”（3）缓存和数据库的操作时序一、需求缘起 场景介绍 缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。例如对于用户的余额信息表account(uid, money)，业务上的需求是： （1）查询用户的余额，SELECT money FROM accoun...原创 2019-10-25 23:37:01 · 737 阅读 · 0 评论 -
常见缓存架构原理
互联网公司在缓存架构上是区分很大的,往往是根据企业的业务量来进行选择的,可以看如下图在传统的小型互联网公司,采用网页静态化技术,freemarker来加快用户的体验速度,从来来提升响应,但是如果出现了缓存血崩,缓存击穿那么对数据库将会造成很大的压力,可能导致整个架构无法使用一 缓存击穿 缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写...原创 2019-10-25 18:07:55 · 1215 阅读 · 1 评论 -
TCP/UDP对比总结
在计算机网络中，有三种体系结构划分方式，第一种是OSI七层协议体系结构，由上到下分别是：应用层，表示层，会话层，运输层，网络层，数据链路层，物理层；第二种是TCP/IP四层协议，由上到下分别是：应用层，运输层，网际层，网络接口层。第一种划分方式复杂又不实用，第二种划分方式最下面“网络接口层”对计算机网络来说，和一般的通信链路没有多大的区别，所以最后折中为我们常用的五层协议：应用层，运输层，网络层，...原创 2019-10-20 15:03:14 · 622 阅读 · 1 评论 -
深入理解跨域SSO单点登录原理与技术
一：SSO体系结构SSO SSO英文全称Single Sign On，单点登录。SSO是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。它包括可以将这次主要的登录映射到其他应用中用于同一个用户的登录的机制。它是目前比较流行的企业业务整合的解决方案之一。体系结构 当用户第一次访问应用系统1的时候，因为还没有登录，会被引导到认证系统中进行登录；根据用户提供的登...原创 2019-10-20 14:04:07 · 710 阅读 · 0 评论