自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大JAVA解决方案

数据科学

原创 删除elasticsearch大于7天前的索引

curl -u 用户名:密码 -H'Content-Type:application/json'-d'{ "query": { "range": { "@timestamp": { ...

2020-05-29 18:07:21 5 0

原创 ElasticSearch使用RestHighLevelClient进行搜索查询

Elasticsearch Java API有四类client连接方式:TransportClient、 RestClient 、Jest、 Spring_Data_Elasticsearch。其中TransportClient、 RestClient是Elasticsearch原生的api,Tr...

2020-05-27 16:25:59 58 0

原创 Redis使用pipeLine批量获取数据加快接口响应速度 

RedisClientRedisMultiGet 一、背景 需求: redis通过tcp来对外提供服务,client通过socket连接发起请求,每个请求在命令发出后会阻塞等待redis服务器进行处理,处理完毕后将结果返回给client。 其实和一个http的服务器类似,一问一答,请求一...

2020-05-25 09:17:48 70 0

原创 RedisCluster使用pipeline批量读取数据

Vi_NSN 2017-12-03 21:38:40 7351 已收藏 1 展开  因为公司的Redis是Cluster的,一共有三台主机,有个需求是同时读取三千条数据,因为是Cluster,所以没办法直接使用mget。  目前在网上找到的方法有两种,一种是写入时处理,一种是读取时处理。  先说一...

2020-05-25 09:16:42 29 0

原创 Redis中PipeLine使用(二)---批量get与批量set

Kevin.Yang 2015-11-04 17:28:47 27769 收藏 2 展开 批量查询的相关问题总结 再做测试之前首先向redis中批量插入一组数据 1-->1 2-->2 3-->3 4-->4 5-->5 6-->6 1 2 3 4 5 6 ...

2020-05-25 09:15:51 22 0

原创 允许master节点部署pod

1 node(s) had taints that the pod didn't tolerate 异界神域 2020-01-21 11:37:28 1512 已收藏 展开 允许master节点部署pod kubectl taint nodes --all node-role.kube...

2020-05-25 09:14:32 26 0

原创 Elasticsearch -- Index Settings 

原 开源中国合格公民发布于 2018/11/07 11:11 ElasticSearch 索引级别的设置,可以在每一个索引上使用。 静态设置:只能在索引创建时或关闭索引上设置。 动态设置:可以使用update-index-settingsAPI在打开的索引上更改它们。 警告:更改已关...

2020-05-22 09:15:38 27 0

转载 k8s实践(六):Pod资源管理

k8s实践(六):Pod资源管理 loong576关注0人评论2212人阅读2019-08-22 16:07:43 环境说明: 主机名 操作系统版本 ip docker version kubelet version 配置 备注 mast...

2020-05-20 11:41:59 30 0

原创 数据仓库

数据仓库的目标是实现集成、稳定、反映历史变化有组织有结构的存储数据的集合。 图 1-1 数据仓库基本架构 如上图所示,一个公司可能有多个业务系统,而数据仓库就是将所有的业务系统按照某种组织架构整合起来,形成一个仓储平台,也就是数仓。 ODS 层中的数据全部来自于业务数据库,ODS 层的表...

2020-05-14 11:32:13 54 0

原创 星星模型&&雪花模型

乖乖猪001 2018-12-22 21:55:58 437 已收藏 1 分类专栏: 大数据 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/xiaozhaoshigedasb/arti...

2020-05-14 10:42:12 50 0

转载 Mysql实现级联操作(级联更新、级联删除)

一、首先创建两张表stu,sc create table stu( sid int UNSIGNED primary key auto_increment, name varchar(20) not null) TYPE=InnoDB charset=utf8; create table...

2020-05-13 12:25:01 75 0

转载 K8S容器编排之Headless浅谈

云爬虫技术研究笔记关注 0.7242018.12.26 23:02:10字数 687阅读 33,075   前言: 最近在基于K8S开发平台的过程中遇到了有个问题没有弄懂,就是CoreDNS的作用,就好像在Docker Swarm里面,我们可以通过Service name来访问一组容器,在K8...

2020-05-12 13:43:53 39 0

转载 K8S 之 Headless 浅谈

YP小站 2019-11-28 21:26:04 60 已收藏 展开 Headless Services 简介 有时不需要或不想要负载均衡,以及单独的 Service IP。 遇到这种情况,可以通过指定 Cluster IP(spec.clusterIP)的值为 “None” 来创建 Headle...

2020-05-12 13:41:34 58 0

转载 Kubernetes---Service(SVC)服务--ingress api

对于k8s传统的svc来说它仅支持4层代理,如果遇到7层代理的话,是没有办法去实现的 k8s官方在1.11中推出了ingressapi接口,通过ingress达到7层代理的效果 对于ingress来说,必须要绑定一个域名,因为它是基于7层代理的 资料信息 Ingress-Nginxgi...

2020-05-11 09:45:01 36 0

转载 kubernetes(k8s) ingress及ingress docker-controller

什么是Ingress? --- HTTP 7层路由机制。将集群外部的HTTP和HTTPS路由暴露给集群中的服务,流量路由由Ingress资源上定义的规则控制 internet | [ Ingress ] --|-----|-- [ Services ]...

2020-05-11 09:37:28 29 0

转载 nginx限速,带宽,IP;

http://www.6san.com/1149/ 限制向客户端传送响应数据的速度,可以用来限制客户端的下载速度。参数rate的单位是字节/秒,0为关闭限速。 nginx按连接限速,所以如果某个客户端同时开启了两个连接,那么客户端的整体速度是这条指令设置值的2倍。 nginx限速示例: l...

2020-05-11 09:28:24 70 0

原创 protobuf 和 json转换

2020-05-09 12:26:29 32 0

转载 kubernetes(k8s) ingress及ingress docker-controller

kubernetes(k8s) ingress及ingress docker-controller 什么是Ingress? --- HTTP 7层路由机制。将集群外部的HTTP和HTTPS路由暴露给集群中的服务,流量路由由Ingress资源上定义的规则控制 internet ...

2020-05-08 18:30:20 37 0

转载 kubernetes之ingress及ingress controller

什么是ingress Ingress是授权入站连接到达集群服务的规则集合。 从外部流量调度到nodeprot上的service 从service调度到ingress-controller ingress-controller根据ingress中的定义(虚拟主机或者后端的url) 根据虚拟...

2020-05-08 17:54:38 44 0

转载 Kubernetes外挂配置管理—ConfigMap介绍

目录贴:Kubernetes学习系列   其他容器编排调度工具会大谈特谈“轻应用”、“十二要素应用”,这样就势必会对企业级复杂应用做很大的改动。Kubernetes是为了解决“如何合理使用容器支撑企业级复杂应用”这个问题而诞生的,所以它的设计理念是要支持绝大多数应用的原生形态。例如,很多应用程序...

2020-05-08 09:43:26 52 0

转载 Elasticsearch SQL用法详解

原创数据库开发技术作者:小米运维时间:2018-12-13 17:10:4462600 本文详细介绍了不同版本中Elasticsearch SQL的使用方法,总结了实际中常用的方法和操作,并给出了几个具体例子。 上篇文章回顾:看示例学awk 一、5.x中ES-SQL用法 Elasticse...

2020-05-07 21:46:24 72 0

原创 k8s实践12:kubernetes对接nfs存储实现pvc动态按需创建分配绑定pv

am2012关注1人评论2390人阅读2019-07-24 16:34:26 1. 开始前的想法. 前面测试pv&&pvc的部署和简单配置应用,实现pod应用数据存储到pvc并且和pod解耦的目的. 前面操作是全手动操作,手动创建pv,手动创建pvc,如果集群pod少,...

2020-05-07 15:15:56 60 0

原创 IDEA 超级好用的插件 

IDEA 超级好用的插件 阿里代码规约检测 p3c (github 地址:https://github.com/alibaba/p3c/blob/master/idea-plugin/README_cn.md) 快捷键提示工具:Key promoter X 代码注解插...

2020-05-01 07:38:46 89 0

原创 Docker安装Elasticsearch和Elasticsearch-Head以及IK分词器

阿靖哦 2020-04-01 17:13:00 33 已收藏 展开 ElasticSearch 是一个分布式、高扩展、高实时的搜索引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实...

2020-04-30 16:27:15 57 0

原创 分布式ID生成器 | 架构师之路

原创58沈剑架构师之路2017-06-25 一、需求缘起 几乎所有的业务系统,都有生成一个唯一记录标识的需求,例如: 消息标识:message-id 订单标识:order-id 帖子标识:tiezi-id 这个记录标识往往就是数据库中的主键,数据库上会建立聚集...

2020-04-30 10:43:41 67 0

转载 HTTPS 原理解析

一 前言   在说HTTPS之前先说说什么是HTTP,HTTP就是我们平时浏览网页时候使用的一种协议。HTTP协议传输的数据都是未加密的,也就是明文的,因此使用HTTP协议传输隐私信息非常不安全。为了保证这些隐私数据能加密传输,于是网景公司设计了SSL(Secure Sockets Layer)...

2020-04-30 10:25:05 80 0

原创 rediscluster

redis 是我们目前大规模使用的缓存中间件,由于它强大高效而又便捷的功能,得到了广泛的使用。现在的2.x的稳定版本是2.8.19,也是我们项目中普遍用到的版本。 redis在年初发布了3.0.0,官方支持了redis cluster,也就是集群。至此结束了redis 没有官方集群的时代,之前我...

2020-04-29 11:16:03 42 0

原创 使用ZooKeeper实现Java跨JVM的分布式锁(读写锁)

一、使用ZooKeeper实现Java跨JVM的分布式锁 二、使用ZooKeeper实现Java跨JVM的分布式锁(优化构思) 三、使用ZooKeeper实现Java跨JVM的分布式锁(读写锁) 读写锁: 本文在前面俩片的基础之上介绍如何使用ZooKeeper实现Java跨JVM的分布...

2020-04-28 12:20:17 49 0

原创 zookeeper分布式锁原理

一、分布式锁介绍分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问,以达到保证数据的一致性。 二、架构介绍 在介绍使用Zookeeper实现分布式锁之前,首先看当前的系统架构图 解释:左边的整个区域表示一个Zookeeper集群,locker是Zookeeper的一...

2020-04-28 09:21:43 36 0

原创 netstat 输出内容详解,TCP链接握手对应state

1.列出所有 tcp与udp 端口 2下面分析每一项的含义 2.1 关于Proto,Recv-Q,Send-Q等列的具体含义 Proto:协议名(tcp协议还是udp协议) recv-Q:网络接收队列 表示收到的数据已经在本地接收缓冲,但是还有多少没有被进程取走,recv() ...

2020-04-27 11:37:03 39 0

原创 解决CLOSE_WAIT、TIME_WAIT等连接状态过多的问题

先来看下一台生产环境中的各种tcp状态的连接数: netstat -n| awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' LAST_ACK 6 SYN_RECV 77 CLOSE_WAIT 5793 ESTABL...

2020-04-27 11:21:28 90 0

原创 TCP三次握手四次挥手

我们之前在 传输层协议TCP与UDP 中详细介绍了UDP协议和TCP协议格式以及他们各自的特点,我们知道TCP协议是面向连接的,那面向连接就得需要做建立连接,维护连接,断开连接这些工作,其实大家都听过TCP三次握手建立连接,四次挥手断开连接,那我们今天就来具体看看,TCP到底是如何三次握手和四次挥...

2020-04-27 09:53:59 51 0

原创 TCP 三次握手和四次挥手面试题

Python开发者4月8日 以下文章来源于小林coding,作者小林coding 小林coding 用简洁的方式,分享编程小知识。 (给Python开发者加星标,提升Python技能) 来源:小林coding 前言 不管面试 Java 、C/C++、Python 等开发岗...

2020-04-27 09:45:56 83 0

原创 Kafka之数据存储

Zebul博2018-05-03 15:09:002958已收藏1 本文主要讲述以下两部分内容: kafka数据的存储方式; kafka如何通过offset查找message。 1.前言 写介绍kafka的几个重要概念(可以参考之前的博文Kafka的简单介绍): Broker:消息中间件...

2020-04-26 17:21:55 52 0

转载 KafKa数据存储与数据一致性保证

tianjinsong2016-10-31 21:03:136141收藏 展开 http://yonghuiyang.github.io/2015/12/04/kafka_data_store/ 数据存储 Topic 一类消息称为一个Topic转存失败重新上传取消 Topic逻辑结...

2020-04-26 17:11:28 40 0

原创 线程的六种状态及其状态的转换

Fuzz_ 2018-10-04 18:15:26 9830 已收藏 13 展开 1.线程自身信息 线程运行的过程会产生很多信息,这些信息都保存在Thread类中的成员变量里面,常见的有: 线程的ID是唯一标识getId() 线程的名称:getName(),如果不设置线程名称默认为“Thread...

2020-04-26 16:44:53 34 0

原创 ps 命令查看进程下的线程及线程状态

查看java所有线程 ps –eLf | grep java 查看进程下的所有线程cpu利用率 top -H -p 25120 其中25120为Java进程号。 下图红色标注的地方为线程状态。其中总数为28,当前运行的线程为0,28个线程睡眠,没有终止的线程或僵尸线程。 树状图显示进程...

2020-04-26 15:38:24 39 0

原创 解决KafKa数据存储与顺序一致性保证

“严格的顺序消费”有多么困难 下面就从3个方面来分析一下,对于一个消息中间件来说,”严格的顺序消费”有多么困难,或者说不可能。 发送端 发送端不能异步发送,异步发送在发送失败的情况下,就没办法保证消息顺序。 比如你连续发了1,2,3。 过了一会,返回结果1失败,2, 3成功。你把1再重新发...

2020-04-26 11:15:05 45 0

原创 KafkaConsumer使用介绍、参数配置

russqiang 2019-04-27 13:43:41 4325 收藏 5 展开 文章目录 前言 Consumer概要 Consumer程序开发 Consumer常用参数说明 消息解序列化 多线程处理 总结 前言 KafkaProducer作为生产者发送消息到Kafka,那么自然也就需要从ka...

2020-04-26 10:24:01 114 0

转载 Flink| 状态一致性

1. 状态一致性 有状态的流处理,内部每个算子任务都可以有自己的状态; 对于流处理器内部(没有接入sink)来说,所谓的状态一致性,其实就是我们所说的计算结果要保证准确; 一条数据不应该丢失,也不应该重复计算; 在遇到故障时可以恢复状态,恢复以后的重新计算,结果应该也是完全正常的; ...

2020-04-26 10:12:28 41 0

提示
确定要删除当前文章?
取消 删除