qq_21873747-CSDN博客

原创 Elasticsearch5.X java API

Elasticsearch5.X java API 1. Java API批量导出Settings settings = ImmutableSettings.settingsBuilder().put("cluster.name", "elasticsearch-bigdata").build(); Client client = new TransportClien...

2018-03-29 23:47:01 1602 1

在es集群上安装TLS。重要如果您是在现有群集上首次安装X-Pack，则必须执行完整群集重新启动。安装X-Pack后，必须在群集中的所有节点上启用安全性和安全性才能使群集正常运行。升级时通常可以执行滚动升级。1. 要在Elasticsearch中安装X-Pack：可选：如果您想在没有互联网访问权限的机器上安装X-Pack：手动下载X-Pack zip文件：（sha512） https://ar...

2018-03-14 18:28:06 9172

原创通用万能excel导入的Python实现

通用万能excel导入的Python实现一.正言从设计方案到算法和功能代码实现，花了我一周时间，在这里记录方便大家参考。废话少说，首先通过配置文件配置你想要的数据，只需要配置简单的表达式就可以实现由价值的数据分析和挖掘出有价值的信息数据。最终得到的是以字段为首的json数据。后期可以对excel或导出功能做成可视化，使用户的操作和体验更加便捷化。二.配置文件 { "u...

2018-03-12 18:56:31 7682 1

转载 Redis 缓存 + Spring 的集成示例

Redis 缓存 + Spring 的集成示例《整合 spring 4(包括mvc、context、orm) + mybatis 3 示例》一文简要介绍了最新版本的 Spring MVC、IOC、MyBatis OR...

2018-03-08 17:10:59 206

原创分布式锁的几种实现方式

分布式锁的几种实现方式基于数据库实现分布式锁基于缓存（redis，memcached，tair）实现分布式锁基于Zookeeper实现分布式锁 a. 数据库方式思路：创建一张表，里面方法名称字段为唯一的。想要执行某方法的时候向该表执行插入操作，执行完成之后删除该记录即可。因为方法名称字段唯一，所以在并发的时候只能插入一条记录，其他的并不会执行。也可以通过排他锁...

2018-03-08 16:41:59 1709

原创代理模式和门面模式模式

代理模式和门面模式模式1.引言看设计模式的时候看到代理模式，想起门面者模式，比较俩者，发现的不同之处，随便写写博客加深印象。2.讲解代理(Proxy)模式所谓代理，就是一个人或者一个机构代表另一个人或者另一个机构采取行动。在一些情况下，一个客户不想或者不能够直接引用一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。举一个例子：消费者一般在超时买东西，超市充当着代理的角色，而厂商...

2018-03-08 12:02:16 3037 1

原创 Dubbo介绍和整合

dubboA. 原理流程：A1. 服务启动，服务提供者向注册中心注册服务。A2. 消费者需要服务的时候向注册中心订阅服务，注册中心返回一个服务提供者的地址列表给消费者。A3. 消费者根据一定的负载均衡算法，访问一台服务提供者，如果访问失败，则换一台访问。A4. 服务消费者和提供者，在内存累计调用次数和调用时间，定时每分钟会发送一次统计数据到监控中心。B. Dubbo的核心配置 C. Dubbo常识...

2018-03-07 18:20:31 4441

原创数据库

数据库相关1. 数据库连接池实现原理需求：数据库连接过程，每次访问数据库都需要打开一个链接，如果大型应用，每次访问数据库都重新建立连接，会严重影响性能。解决：建立数据库连接缓冲池。初始化一定数量的链接，需要的时候取出，使用完毕后不关闭再放回连接池以供下一次调用。注意： a. 并发问题多线程环境下，比方说获取链接，需要加同步。 b. 事务问题Java中c...

2018-03-07 17:50:02 275

原创 socket的python实现

socket通信 Python提供了两个基本的socket模块。一个是socket，它提供了标准的BSD Socket API；另一个是socketServer，它提供了服务器中心类，可以简化网络服务器的开发。1.通信原理开始了解socket模块前，先熟悉下Python的网络编程模块主要支持的两种Intent协议：TCP和UDP。TCP协议是一种面向连接的可靠协议，用于建立机...

2018-03-07 12:56:28 4237

原创 Linux下安装Elasticsearch5.X head安装

Linux下安装Elasticsearch5.X下载Elasticsearch　　登录官网 https://www.elastic.co/cn/downloads　　选择下载elasticsearch，根据需要选择对应的安装包，这里选择5.0版本，下载完后得到 elasticsearch-5.0.0.tar.gz解压安装　　将 elasticsearch-5.0.0.tar.gz 拷贝到 /opt...

2018-03-07 10:53:38 2729

翻译分布式文件系统 FastDFS

1 FastDFS介绍1.1 什么是FastDFS FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1.2 FastDFS架构 FastDFS架构包括...

2018-03-07 10:45:43 464

原创 socket通信

一.引言要掌握socket通信就要先知道socket通信原理，最好有一个例子，更着例子跑一遍，看看源码。socket通信是利用面向连接的、可靠的、基于字节流的传输层通信协议tcp，把数据流分区成适当长度的报文段，之后TCP把结果包传给IP层，由它来通过网络将包传送给接收端。本地的进程间通信（IPC）有很多种方式，但可以总结为下面4类：消息传递（管道、FIFO、消息队列）同步（互斥量、条件变...

2018-03-07 10:20:03 389 2

原创百万并发分布式架构

第14章百万并发架构课程目标1、Sentinel1)Sentinel介绍2)Sentinel核心功能3)Sentinel集成Gateway4)Sentinel控制台2、Lvs+Nginx集群1)Lvs负载均衡模式- NAT模式- TUN模式- DR模式2)Lvs+Nginx集群实现1 SentinelSentinel主页https://github.com/alibaba/Sentin...

2021-04-19 16:01:44 3257

原创 set 100万条数据只要3秒钟，怎么做到的？

set 100万条数据只要3秒钟，怎么做到的？批量操作

2021-04-14 23:28:17 290

原创双指针

双指针有这样一道题:存水问题package com.andong.demo.双指针.存水问题;/** * @Author andong * @Date: 2021/04/10/21:36 * 存水问题 * @Description: */public class TrappingRainWater { public i...

2021-04-14 23:23:44 123

转载 Leaf—美团点评分布式ID生成系统

Leaf——美团点评分布式ID生成系统背景在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？全局唯一性：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。趋势递增：在

2021-04-14 23:18:05 163

原创算法之-栈区间最大值

算法之-栈区间最大值package com.andong.demo.stack.区间最大值;import java.util.Stack;/** * @Author andong * @Description: * 数组：区间和 * 栈：下标大的话出栈 */public class ByteDanceEx1 { public static void main(String[]...

2021-04-14 23:14:48 129 1

原创算法之手写LRU缓存

算法之手写LRU缓存解决：双向链表+hash表Get没有值直接返回-1，有值的情况下，get到位置，移除当前前后关系，把当前元素后移。/**代码实现**/package com.andong.demo.LinkList.双向链表LRU缓存;import java.util.HashMap;import java.util.Map;/** * @Aut...

2021-04-14 23:11:51 92

原创 RabbitMq 消息中间件问题

RabbitMq 消息中间件问题分布式场景下如何确保并发的幂等性（不重复消费）？数据库唯一索引先select后insert方案基于redis分布式锁或者zookeeper分布式锁（一般选择）MQ使用场景削锋填谷例如每个订单下单-扣减库存-扣减积分活动-扣减活动预算这个活动时间耗费太长调用链路太长影响接口性能，其次分布式事务问题很难处理。这时我们就需要对实时一致性要...

2021-04-14 23:06:21 241 1

原创 angular-bootstrap-datetimepicker时间控件添加清除按钮控件

1.准备工作首先我们得下载号这几个文件： 2.修改源码需要修改bootstrap-datetimepicker.min.js，找到data-today-btn对应加一行如下：this.todayBtn=(i.todayBtn||this.element.data("date-today-btn")||false);this.clearBtn=(i.clearBtn||this.element.data("date-clear-btn")||false);//update by ...

2020-07-15 14:16:18 711

原创 Linux 磁盘扩容

查看磁盘情况df：主要是检查文件系统磁盘占用情况du：主要是检查磁盘空间占用情况fdisk：一般用来磁盘分区，也可以用来查看磁盘分区情况lsblk：命令用于列出所有可用块设备的信息lsblkfdisk /dev/sdbpartprobe -spvcreate /dev/sdb1vgextend centos /dev/sdb1lvextend -L +11...

2020-07-11 11:10:10 171

原创 MongoDB安装

在linux上使用tar包安装：1.将tar安装包解压到/usr/local/bin/文件夹下面，修改文件夹名称为mongodb:tar zxvf xxx.tarmv xxxx mongodb2.新建数据库文件存放文件夹和记录日志文件：mkdir -p /data/mongo/db /data/mongo/logs/mongo.log3.将MongoDB安装路径...

2020-03-09 16:24:49 1257 1

原创通过中间件方式实现IE代理

通过中间件方式实现IE代理1.脚本： C:\Windows\System32\cmd.exe /C setlocal disabledelayedexpansion & >IEproxy.bat echo reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v Pr...

2020-03-09 14:38:16 383 1

原创 Redis集群搭建

Redis集群搭建在Centos7.5上多台宿主机使用docker部署redis集群的过程，redis集群一般需要6台redis服务器,使用docker可以节省服务器资源，除开放主从6379和6380端口外还得开放集群总线端口，集群总线端口为red...

2020-03-09 13:56:04 322 1

原创 F5 BIG-IP Controller for Kubernetes

有两种方式：Nodeport mode：Cluster mode：F5 VE 版本是按订阅收费，分为 GOOD BETTER BEST 三种套餐，Cluster Mode 必须购买 BETTER 及 BEST 以上套餐。BIG-IP VE modules are available in Good, Better, and Best (GBB) lice...

2020-03-09 11:57:54 576 1

原创 spring注解@EnableAsync@Async实现多线程

spring注解@EnableAsync@Async实现多线程通过spring给我们提供的ThreadPoolTaskExecutor就可以使，例子如下：首先定义配置类package com.andong.spring.test;import java.util.concurrent.Executor;import org.spri...

2019-01-21 17:03:24 3107

原创 mac下使用git创建repository上传到github

第一步：安装git程序git客户端程序地址：https://git-scm.com/download/mac 打开安装包，如下图操作然后按照提示，下一步下一步，直到安装完成。打开终端，输入命令：git --version ，测试是否安装成功。第二步：创建SSH步骤一：在终端输入命令：cd ~/.ssh如果出现 -bash: cd: ...

2018-09-12 00:15:28 714

转载 java文件断点续传的简单实现

java文件断点续传的简单实现所谓的文件断点续传，我的理解是文件在传输过程中因为某些原因程序停止运行文件终止传输，下一次重新传输文件的时候还能从上一次传输的位置开始传输，而不需要重新从头开始。文件传输的过程分为发送方和接收方，最终我的思路是这样的：传输开始之前发送方先向接收方发送一个确认信息，然后再向接收方发送准备发送的文件的文件名接收方收到...

2018-07-06 17:09:09 315

转载史上最详cxf-Springmvc-maven实现webservice教程

史上最详cxf-Springmvc-maven实现webservice教程 2016.11.18 14.16 22828浏览字号大字中字小字虽知道webservice，工作两年一直没使用过，最近不忙趁机研究了下，实现了简单的服务端及客户端调用。鉴于慕课网没有webservice的教程，大多又都是学生，就在...

2018-06-12 22:18:45 209

原创 mysql分库分区分表

1.分库分区分表概念分区就是把一张表的数据分成N个区块，在逻辑上看最终只是一张表，但底层是由N个物理区块组成的分表就是把一张数据量很大的表按一定的规则分解成N个具有独立存储空间的实体表。系统读写时需要根据定义好的规则得到对应的字表明，然后操作它。表名可以按照某种业务hash进行映射。分库一旦分表，一个库中的表会越来越多2.实现 2.1分区的实现方式（简单） my...

2018-06-12 18:42:24 7143 1

转载 BIO与NIO、AIO的区别(这个容易理解)

IO的方式通常分为几种，同步阻塞的BIO、同步非阻塞的NIO、异步非阻塞的AIO。一、BIO 在JDK1.4出来之前，我们建立网络连接的时候采用BIO模式，需要先在服务端启动一个ServerSocket，然后在客户端启动Socket来对服务端进行通信，默认情况下服务端需要对每个请求建立一堆线程等待请求，而客户端发送请求后，先咨询服务端是否有线程相应，如果没有则会一直等待或者遭到拒绝请求，如...

2018-06-12 17:19:52 127

原创 ActiveMQ

1. JMS JMS消息结构 ActiveMQ消息发送和接收java例子Pom依赖jar包有： <dependency> <groupId>org.apache.activemq</groupId> <artifactId>activemq-core</artifactId> <version>5.5.1&lt...

2018-05-25 11:44:48 383

原创二维码扫一扫java开发

二维码扫一扫java开发一.正言在大家在这里分享曾经以为很6的技术，其实会了就很简单，以下项目就是输入你的内容或链接或图片，别人可以扫码关注你。二.项目讲解 ReadMejava 开发二维码扫描技术1.新建一个Javaweb项目。2.确定需求，建立静态页面。3.编写业务逻辑，生成二维码。4.保存在自己的服务器。5...

2018-05-24 23:08:21 1944

原创 QQ_music

QQ_music一.正言做一个类似于QQ空间的音乐播放器，纯前端技术，在这里给大家分享二.项目三代码主页面music.html<!DOCTYPE html><html> <head> <title>java开发QQ音乐点歌系统</title>...

2018-05-24 22:37:38 229

原创算法分析

算法之数据结构1.树图有关2.查找算法 1.顺序查找（线性查找） .3.排序算法4 .数据分析场景中的算法应用-机器学习算法库回归的英文是Regression，意思是“回退，退化，倒退”。回归分析的意思借用了“倒退，倒推”的含义。简单说就是“由果索因”的过程，是一种归纳的思想--当看到大量的事实所...

2018-05-24 22:15:03 374

转载 ElasticSearch集群迁移和升级总结

ElasticSearch（后面简称ES）是一个基于Lucene的实时搜索服务器，广泛用于帮助网站的搜索解决方案。本文主要是分享了此次对ES集群的迁移和升级的一些经验和步骤，希望对以后又类似迁移和升级的提供一些经验和帮助。背景因为ES所在机器，有会大量占用cpu和内存的软件，导致ES运行不稳定甚至无法响应的问题。我们对ES的服务进行了迁移。迁移方法我们使用的ES版本是2.3.3，现在已经更新到了5...

2018-05-21 16:04:12 991

原创 linux下Nginx负载均衡的搭建

linux下Nginx负载均衡的搭建1.Nginx简介Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev(伊戈尔·西索夫)所...

2018-05-18 11:41:53 486

原创 ES多集群间数据同步

ES多集群间数据同步1.引言自己在google上搜了一下，自己总结了一下集群中某节点要访问远程集群节点中的数据，并保证数据的一致性和稳定性。举个例子，现有三个集群分别是：集群A、集群B和集群C，每个集群对应的有三个节点，一共是九个节点；集群A中的node1中的业务数据需要从集群C中node1中某索引中获取（意思是说：集群A需要的一部分数据被分割在其他两个集群中），这时就需要考虑同步远程集群数...

2018-05-16 17:49:02 21056 1

转载 linux下使用nginx和ftp做图片服务器

一、搭建nginx1.1 安装gcc、pcre、zlib、openssl环境1.1.1 gcc[plain] view plain copy yum install gcc-c++ 1.1.2 pcre[plain] view plain copy yum install -y pcre pcre-devel 1.1.3 zlib[plain] view plain copy yum ...

2018-04-12 13:21:26 1637

原创导入导出elasticsearch索引数据

1.方式一 dump插件在elasticsearch5.x中1.1 elasticsearch-dump安装1) yum install epel-release2) yum install nodejs3) yum install npm4) npm install elasticdump5) cd node_modules/elasticdump/bin 后便可以执行操...

2018-03-22 19:00:19 15919