自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(28)
  • 收藏
  • 关注

原创 Flink流处理框架总结

Flink流处理框架第一部分 Flink 概述第 1 节 什么是 Flink第 2 节 Flink 特点第 2 节 Flink 应用场景第 4 节 Flink 核心组成及生态发展第 5 节 Flink 处理模型:流处理与批处理第 6 节 流处理引擎的技术选型第二部分 Flink快速应用第 1 节 单词统计案例(批数据)1.1 需求1.2 代码实现第 2 节 单词统计案例(流数据)2.1 需求2.2 代码实现第三部分 Flink体系结构第 1 节 Flink的重要角色第 2 节 Flink运行架构2.1 Fl

2021-04-27 23:52:32 1025

原创 算法经典问题

面试题算法:金矿问题-动态规划很久很久以前,有一位国王拥有5座金矿,每座金矿的黄金储量不同,需要参与挖掘的工人人数也不同。例如有的金矿储量是500kg黄金,需要5个工人来挖掘;有的金矿储量是200kg黄金,需要3个工人来挖掘…如果参与挖矿的工人的总数是10。每座金矿要么全挖,要么不挖,不能派出一半人挖取一半的金矿。要求用程序求出,要想得到尽可能多的黄金,应该选择挖取哪几座金矿?递归求解// 时间复杂度O(2^n)function getBestGold(workers, canSelectGo

2021-04-24 18:35:10 293 1

原创 kubeadm 安装指定版本的 kubernetes 集群(不用翻墙版)

k8s集群搭建什么是 kubeadm?安装指定版本的 kubernetes 集群1、基础环境搭建2. 安装 v-1.17 的 kubeadm/kubelet/kubectl3. 预下载 k8s 集群组件镜像4. master节点初始化 k8s 集群5.slave节点加入集群什么是 kubeadm?kubeadm 是 Google 官方推荐使用的 kubernetes 集群安装程序,可以使用它来快速创建单机或者高可用 kubernetes 集群,以及方便地提供一些日常维护操作,例如:节点的扩容缩容、集群证

2021-04-15 14:28:25 2827 1

原创 Nginx+Redis+RocketMQ+Tomcat+MySQL搭建秒杀系統

1. 需求秒杀商品,数量100个。秒杀商品不能超卖。抢购链接隐藏Nginx+Redis+RocketMQ+Tomcat+MySQL2.实现代码项目地址: https://gitee.com/jianguodashu/lgstate6_33. nginx配置项目实际端口9099,nginx通过test.rpp.com跳转http配置server { listen 80; server_name test.rpp.com; location /or

2021-04-04 20:26:16 492

原创 实战:HTML+Nginx+ngx_kafka_module+Kafka实现日志收集系统

实战:kafka实现日志收集系统1. 需要收集的信息2. 工作流程3. 架构4. 实战步骤5.实现过程5.1 kafka集群搭建5.2 编写 HTML5.3 配置 nginx5.4 创建 kafka 的 topic5.5 测试1. 需要收集的信息1、用户ID(user_id)2、时间(act_time)3、操作(action,可以是:点击:click,收藏:job_collect,投简历:cv_send,上传简历:cv_upload)4、对方企业编码(job_code)2.

2021-04-04 17:43:04 359 3

原创 redis安装

1、从gihub直接下载了redis版本https://github.com/redis/redis/releases/tag/5.0.82、执行安装命令mkdir redis-mastercd /var/redis-5.0.8/src/make install PREFIX=/var/redis-ms/redis-master3、报如下错误:(echo "" > .make-ldflags)MAKE hirediscd hiredis && make stati

2021-02-06 22:28:19 157

原创 虚拟机开不了?VMare以独占方式锁定此配置文件失败,win10无法终止进程,拒绝访问,没有此任务的实例在运行

使用vmare不经意时候总是会出现如下错误:1.无法打开虚拟机,显示Vmware Workstation错误,以独占方式锁定此配置文件失败。另一个正在运行VMware进程可能正在使用配置文件2、或者打开虚拟机显示内部错误3、或者是在win10任务管理器的时候,无法终止pid,显示拒接访问4、或者在cmd命令行中无法终止pidC:\Users\86188>taskkill /F /pid 4028错误: 无法终止 PID 为 4028 的进程。原因: 没有此任务的实例在运行。二

2021-02-02 13:56:29 4933

原创 从spring boot版本冲突的排查过程,针对maven依赖冲突最终解决方案,收藏!!!。

maven依赖冲突最终解决方案报错现场定位报错原因问题解决拓展---maven如何解析 jar 包依赖本文会不断加入由于开发中遇到maven依赖冲突而出现报错。也感谢网友私下发给我你开发中遇到由于maven报错的信息。小编运行springboot应用发现如下报错,对于这个这次排查,总结了一下关于maven冲突时最终解决方案。本文用到了idea工具。报错现场java.lang.IllegalStateException: Error processing condition on org.springf

2021-01-17 22:44:53 4864 2

原创 全网最详细的在centos7搭建MYSQL57半同步并行复制高可用MHA

MySQL高可用之MHA部署1、 MHA主要的特征2、环境准备3、centos7安装mysql5.74、搭建半同步并行mysql主从复制5、安装MHA-node6、安装MHA-manager7、创建MHA配置文件8、MHA常见操作1、 MHA主要的特征MHA(Master High Availability)是一套比较成熟的 MySQL 高可用方案,也是一款优秀的故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程

2021-01-16 01:44:25 410 2

原创 elasticJob分布式调度

elastic_job 1、elasticJob介绍2、实现原理3、启动流程4、作业执行1、elasticJob介绍elasticJob是一个分布式调度解决方案,由两个相互独立子项目组成ElasticJob-Lite :定位为轻量级无中心化解决方案ElasticJob-Cloud :使用 Mesos 的解决方案,额外提供资源治理、应用分发以及进程隔离等服务。elasticJob相比较一般的定时任务框架,比如Qurtz框架等来说有如下的特点:特点简介弹性调度支持分布式场.

2020-11-11 00:59:38 251

原创 tomcat容器组件体系

tomcat体系结构1、 tomcat的简介2、Tomcat 系统总体架构2.1 Tomcat 连接器组件 Coyote2.1.1 Coyote 简介2.1.2 Coyote 的内部组件及流程2.2 Tomcat Servlet 容器 Catalina2.2.1 Tomcat 模块分层结构图及Catalina位置2.2.2 Servlet 容器 Catalina 的结构2.2.3 Container 组件的具体结构1、 tomcat的简介Tomcat不仅仅是⼀个Http服务器也是servlet容器,当

2020-11-09 12:14:38 208

原创 spring循环依赖源码解析

Spring 循环依赖源码解析文章目录Spring 循环依赖源码解析一、Spring循环依赖背景1、什么是循环依赖2、三级缓存3、回顾获取 bean 的过程二、源码分析1、beanA:doGetBean2、beanA:getSingleton3、beanA:doGetBean4、beanA:重载的 getSingleton5、beanA:createBean6、beanB:getBean7、beanA:getBean8、beanA:getSingleton9、beanB:doCreateBean10、be

2020-10-14 12:50:54 390

原创 【3】 Neo4j基本概念与入门实例

Neo4j基本概念与入门实例1.1Neo4j 图数据中基本元素与概念1.1.1节点1.1.2 关系1.1.3 属性1.1.4 路径1.1.5遍历(Traversal)1.2官方入门实例介绍1.2.1创建图数据1.2.2 检索节点1.2.2.1 查找人员1.2.2.2查找电影节点1.2.2.3随机查找多个人物的人名1.2.2.4查找多个电影1.2.3 查询关系1.2.3.1查找演员参演的电影1.2.4查询关系路径1.1Neo4j 图数据中基本元素与概念1.1.1节点节点(Node)是图数据库中的一个基本

2020-08-01 09:25:56 452

原创 【2】Neo4j安装与基本操控

Neo4j安装与基本操控1.1Neo4j的安装部署1.1.1 Neo4j的版本分类1.1.2CentOS系统安装Neo4j1.1.3 Ubuntu系统安装Neo4j1.1.4 Mac系统安装Neo4j1.1Neo4j的安装部署由于Neo4j是基于Java虚拟机(Java Virtual Machine,JVM)的产品,所以在安装前,必须保证已经安装了Java 虚拟机。1.1.1 Neo4j的版本分类可访问Neo4j官方网站:https://neo4j.com/,找到下载链接(1)Neo4j 支持的

2020-07-31 23:11:03 439

原创 【1】图数据库neo4j简介

图数据库neo4j介绍1.1 图数据库介绍1.2 Neo4j介绍1.1 图数据库介绍图数据库(Graph Database)是基于图论实现的一种新型NoSQL数据库。它的数据存储结构和数据的查询方式都是以图论为基础的。图论中图的基本元素为节点和边,在图数据库中对应的就是节点和关系。在图数据库中,数据与数据之间的关系通过节点和关系构成一个图结构并在此结构上实现数据库的所有特性,如对图数据对象进行创建、读取、更新、删除 (Create、Read、Update、Delete,简称:CRUD)等操作的能

2020-07-31 23:08:07 700

原创 【8】在Java应用中访问ElasticSearch

在Java应用中访问ElasticSearch4.1在Java应用中实现查询文档4.2 在Java应用中实现添加文档4.3在Java应用中实现删除文档4.4在Java应用中实现更新文档4.5在Java应用中实现批量操作4.1在Java应用中实现查询文档pom中加入ElasticSearch6.2.4的依赖: org.elasticsearch.client transport 6.2.4 <dependency> <

2020-07-30 13:34:34 239

原创 【7】ElasticSearch原理(架构分析)

ElasticSearch原理架构分析3.1.1 分布式架构的透明隐藏特性3.1.2 扩容机制3.1.3 rebalance3.1.4 master节点3.1.5 节点对等3.2 分片和副本机制3.3 单节点环境下创建索引分析3.4 两个节点环境下创建索引分析3.5 水平扩容的过程3.6ElasticSearch的容错机制3.7文档的核心元数据3.8 文档id生成方式3.9 _source元数据分析3.10 改变文档内容原理解析3.11 基于groovy脚本执行partial update3.12 part

2020-07-30 13:21:56 452

原创 【6】ElasticSearch复合查询

ElasticSearch的复合查询2.10.1 使用bool查询2.10.2 constant_score查询将多个基本查询组合成单一查询的查询2.10.1 使用bool查询接收以下参数:must:文档 必须匹配这些条件才能被包含进来。must_not:文档 必须不匹配这些条件才能被包含进来。should:如果满足这些语句中的任意语句,将增加 _score,否则,无任何影响。它们主要用于修正每个文档的相关性得分。filter:必须 匹配,但它以不评分、过滤模式来进行。这些语句对评分没

2020-07-30 13:20:23 300

原创 【5】ElasticSearch聚合查询

(1)sumGET /lib4/items/_search{“size”:0,“aggs”: {“price_of_sum”: {“sum”: {“field”: “price”}}}}(2)minGET /lib4/items/_search{“size”: 0,“aggs”: {“price_of_min”: {“min”: {“field”: “price”}}}}(3)maxGET /lib4/items/_search{“size”: 0,“

2020-07-30 13:19:10 165

原创 【4】ElasticSearch的Filter查询

ElasticSearch的Filter查询2.8.2 bool过滤查询2.8.3 范围过滤2.8.5 过滤非空2.8.6 过滤器缓存filter是不计算相关性的,同时可以cache。因此,filter速度要快于query。POST /lib4/items/_bulk{“index”: {"_id": 1}}{“price”: 40,“itemID”: “ID100123”}{“index”: {"_id": 2}}{“price”: 50,“itemID”: “ID100124”}{“ind

2020-07-30 13:17:49 168

原创 【3】ElasticSearch基本查询(Query查询)

ElasticSearch基本查询Query查询2.7.1数据准备2.7.2 term查询和terms查询2.7.3 控制查询返回的数量2.7.4 返回版本号2.7.5 match查询2.7.6 指定返回的字段2.7.7控制加载的字段2.7.8 排序2.7.9 前缀匹配查询2.7.10 范围查询2.7.11 wildcard查询2.7.12 fuzzy实现模糊查询2.7.13 高亮搜索结果2.7.1数据准备PUT /lib3{“settings”:{“number_of_shards” : 3,

2020-07-30 13:16:58 558

原创 【2】ElasticSearch基本操作

ElasticSearch基本操作2.1倒排索引2.1.2 倒排索引原理2.1.3 分词器介绍及内置分词器2.2使用ElasticSearch API 实现CRUD2.3批量获取文档2.4使用Bulk API 实现批量操作2.5版本控制2.6 什么是Mapping查看es自动创建的mapping2.1倒排索引Elasticsearch 使用一种称为 倒排索引 的结构,它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,有一个包含它的文档列表。示例:(1):假设文档集合

2020-07-30 13:00:10 210

原创 【1】ElasticSearch概述

ElasticSearch概述1.1 简介1.2 ElasticSearch的基本概念1.3Elasticsearch的架构1.4RESTfull API1.5CRUL命令1.6CentOS7下安装ElasticSearch6.2.41.7安装Head插件1.8安装Kibana1.9安装中文分词器1.1 简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。ElasticSearch是用Java开发的,并作为Apach

2020-07-29 17:58:44 212

原创 救火车ThreadLocal【线程01】

这里写目录标1 threadLocal1.1 使用场景1.2 作用1.3 原理、原码分析1.4 主要方法介绍1.5 注意点1 threadLocal1.1 使用场景典型场景1,每个线程需要一个独显的对象(通常是工具类,比如simpleDateFormat和Random)典型场景2:每个线程内需要保存全局变量(例如拦截器中获取用户信息),可以让不同方法直接使用,避免参数的麻烦1.2 作...

2020-04-25 22:16:46 113

原创 java中的数据安全

文章目录1.1 java数据安全的简介1.2 URL编码1.3 Base64编码1.4 摘要算法1.5 对称加密算法1.5.1 概念1.5.2 常用加密算法1.5.3 java代码实现示例1.6 口令加密算法1.6.1 口令加密算法概念1.6.2 java代码示例1.7 密钥交换算法1.7.1 概要1.7.2 代码实现1.8 非对称加密算法1.8.1 概念1.8.2 代码实现1.9 数字签名1.9...

2020-04-18 22:47:34 1076 2

原创 【11】大数据Hadoop框架下的TF-IDF技术原理和代码实现

文章目录一、TF-IDF 技术简介本次代码计算环境是 :1、词频 (term frequency, TF)2、逆向文件频率(inverse document frequency, IDF)3、TF-IDF4、基于大数据hadoop框架的代码案例实现5、Java代码实现结果显示一、TF-IDF 技术简介TF-IDF(term frequency–inverse document frequen...

2019-10-07 13:18:30 405

原创 【01】Hadoop介绍

文章目录一、Hadoop简介二、存储模型三、HDFS的Block副本放置策略四、架构模型五、HDFS设计思想1. NameNode(NN)2.NameNode持久化3.DataNode(DN)六、HDFS写流程七、HDFS读流程八、HDFS文件权限 POSIX九、安全模式十、HDFS优缺点1.优点2.缺点一、Hadoop简介2003-2004年,Google公开了部分GFS和Mapredu...

2019-10-07 12:59:28 686

原创 【10】基于大数据hadoop框架实现PageRank算法

文章目录一、PageRank算法的简介二、算法原理1、基本原理2、互联网角度3、修正PageRank计算公式:增加阻尼系数4、基于大数据原生hodoop来思考这个算法实例三、Java代码实现一、PageRank算法的简介PageRank算法也叫佩奇排序算法,是Google在搜索引擎称霸互联网宝藏中的的算法之一,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。是Google创始...

2019-09-26 06:56:00 1506 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除