- 博客(209)
- 资源 (53)
- 收藏
- 关注
RSS订阅原创 49、实现shiro无状态访问（自定义token）
前言http协议是无状态协议。浏览器访问服务器时，要让服务器知道你是谁，只有两种方式：方式一：把“你是谁”写入cookie。它会随每次HTTP请求带到服务端；方式二：在URL、表单数据中带上你的用户信息（也可能在HTTP头部）。这种方式依赖于从特定的网页入口进入，因为只有走特定的入口，才有机会拼装出相应的信息，提交到服务端。大部分SSO需求都希望不依赖特定的网页入口（集成门户除外），所...
2019-09-07 21:10:14
1306
原创 46、shiro认证和权限管理介绍
shiro认证和权限管理介绍前言1、用户名密码身份认证流程2、授权3、权限模型4、权限分配5、权限控制6、权限管理解决方案7、shiro介绍8、shiro使用9、 散列算法10、授权方式11、Shiro总结前言Apache Shiro是一个功能强大、灵活的，开源的安全框架。它可以干净利落地处理身份验证、授权、企业会话管理和加密。Apache Shiro的首要目标是易于使用和理解。安全通常很复杂...
2019-09-07 21:07:01
568
原创 45、nacos集成openfeign
nacos集成openfeign一、创建服务提供者项目-nacos-producer二、添加服务消费者项目-nacos-openfeignSpringCloud中使用feign（底层使用Ribbon）实现调用远程方法像调用本地方法一样去使用，如果使用nacos，那么对应就是使用openfeign即可实现。具体实现过程如下，仅供参考！一、创建服务提供者项目-nacos-producer1、修改...
2019-09-07 20:45:08
3153
2
原创 44、nacos服务注册以及发现示例
44、nacos服务注册以及发现示例一、创建服务提供者项目-nacos-producer二、添加服务消费者项目-nacos-consumer注意，我在测试过程中发现问题（1）如果使用SpringCloud2.0.4.RELEASE版本无法使用nacos（2）如果使用open-feign的2.1.0版本远程过程调用失败，如果使用2.0.0版本发现可以远程调用，但是nacos注册失效（也就是本...
2019-09-07 20:40:10
3636
原创 43、nacos三部曲-服务注册与发现
nacos三部曲-服务注册与发现一、前言二、服务注册（服务端）三、服务发现（客户端）一、前言nacos不仅仅提供了配置中心的功能–同springcloud的ConfigServer（包括消息总线实时刷新通知SpringCloud Bus），而且集成了服务的注册与发现功能。一下我们具体讲解在springboot项目中如何使用服务的注册和发现。二、服务注册（服务端）1、创建一个springbo...
2019-09-07 20:36:18
737
原创 42、nacos三部曲-系统配置
acos三部曲-系统配置创建一个springboot项目详细配置说明创建一个springboot项目（1）pom引用 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-...
2019-09-07 20:32:46
690
原创 41、nacos单机以及集群配置
nacos单机以及集群配置安装准备一、前言二、单机模式（standalone）三、集群搭建（cluster）四、添加配置文件五、添加配置文件安装准备1、下载库从Github 上拉取Nacos Github最新版（地址：https://github.com/alibaba/nacos）。2、本地解压tar -zxvf nacos-server-1.1.3.tar.gz解压后目录说明如下...
2019-09-07 20:18:50
6939
4
原创 27、离线环境如何隔离互联网跑docker
离线环境如何隔离互联网跑docker一、提出问题二、解决方案三、解决步骤一、提出问题大多数据的生产项目都是可以与互联网互通的，但是也存在很多情况我们无法与互联网进行通信，所以在这种情况下我们有可能无法使用docker，原因如下：（1）在生成自己的docker镜像过程中，我们需要下载基础镜像（2）在生成自己的docker镜像过程中，我们需要更新系统（3）在生成自己的docker镜像过程中，...
2019-09-03 11:50:03
409
原创 18、kafka的Reactor设计模型
kafka的Reactor设计模型（2）认识Linux的epoll模型（3）kafka Server Reactor模型kafka作为一种高性能、高并发的消息中间件，必须要求大量的客户端连接、必须做到高并发，kafka使用了久经检验的Reactor模型。在了解之前，首先了解一下如下几个概念（Reactor模型是基于Java NIO的，是linux的epoll模型的改造）：#（1）认识Java ...
2019-08-16 11:29:19
1088
原创 17、kafka分区选主机制
kafka分区选主机制1、大数据常用的选主机制2、常用选主机制的缺点3、kafka分区的选主机制1、大数据常用的选主机制leader的选择方法非常多，大数据领域常用的的选举方法有如下集中（1）Zab（zookeeper使用）a、快速leader选举（leader election）b、发现或者版本建立（epoch establish）c、同步（follower从leader同步数据和状...
2019-08-16 11:24:57
4182
原创 16、kafka集群监控
kafka集群监控一、Kafka Offset Monitor介绍安装部署Kafka Offset Monitor安装部署kafka-mamager工具Kafka集群监控工具有很多，这里我们只介绍针对Kafka的监控。一、Kafka Offset Monitor介绍在生产环境中需要集群高可用，所以需要对kafka集群进行监控。Kafka Offset Monitor可以监控Kafka集群以下...
2019-08-16 11:16:25
838
原创 15、kafka集群维护
kafka集群维护1、集群信息实时查看工具（topic工具）2、kafka集群leader平衡机制3、集群分区日志迁移1、集群信息实时查看工具（topic工具）（1）列出集群当前所有可用的topickafka-topics.sh --list --zookeeper kafka1:2181（2）查看集群特定的topic信息/bin/kafka-topics.sh --describe ...
2019-08-16 11:02:00
328
原创 14、kafka消息检索原理
一、kafka消息的segment文件组成和物理结构1、分区文件存储方式（1）kafka的topic的每一个分区都存在一个目录（2）所有的消息按照一个index文件和log文件存储2、分区下的每一个segment文件（.log）的结构3、一个segment中的每一个消息（message）的存储结构（1）8字节的偏移量：当前的partition的第多少个message（2）4字节...
2019-08-13 17:19:44
951
1
原创 13、kafka消息组织原理和删除原理
一、磁盘的认识1、但需要从磁盘读取数据时候，要确定读取的数据在哪个磁道，哪个扇区–首先必须找到柱面，即磁头需要移动对准响应的磁道，这个过程叫做寻道，所以耗费的时间叫做寻道时间–然后目标扇区旋转到磁头下，这个过程耗费的时间叫做旋转时间，一次访问磁盘请求（读/写）完成的过程有三个动作组成（1）寻道时间：磁头移动定位到指定磁道的时间（2）旋转延迟：等待指定扇区从磁头下旋转经过的时间（3）数...
2019-08-13 17:17:44
1699
原创 12、SpringCloud使用Kafka消费者
1、POM文件配置<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/m...
2019-08-13 15:21:48
1535
1
原创 11、kafka管理客户端接口
前言一般情况下，我们都习惯使用Kafka中bin目录下的脚本工具来管理查看Kafka，但是有些时候需要将某些管理查看的功能集成到系统（比如Kafka Manager）中，那么就需要调用一些API来直接操作Kafka了。在Kafka0.11.0.0版本之前，可以通过kafka-core包（Kafka的服务端代码，采用Scala编写）下的AdminClient和AdminUtils来实现部分的集群管...
2019-08-13 15:19:12
1326
原创 10、kafka消费者配置参数说明
Consumer Configuration在kafka 0.9+使用Java Consumer替代了老版本的scala Consumer。新版的配置如下：bootstrap.servers在启动consumer时配置的broker地址的。不需要将cluster中所有的broker都配置上，因为启动后会自动的发现cluster所有的broker。它配置的格式是：host1:port1;h...
2019-08-13 15:14:31
7631
原创 9、Java客户端实现kafka消费者实例
环境要求（1）已经搭建的kafka集群（2）Apache Maven（3）kafka_2.11-2.2.0一、概念说明以官方给出的图为例，如下所示消费者组与主题之间关系每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message所在的topic的每一个Consumer G...
2019-08-13 15:02:57
1676
原创 9、Kafka生产者各种启动参数说明
生产者启动实例final String kafkazk="localhost:9092"; String topic="testAPI"; Properties properties = new Properties() {{ put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkazk); put(P...
2019-08-13 14:59:03
732
原创 8、kafka生产者自定义分区算法实例
一、kafka消息发送流程kafka生产者在发送消息时候，key指定后可以使用自己的分区算法，KafkaProducer在调用send方法发送消息至broker的过程中，首先是经过拦截器Inteceptors处理，然后是经过序列化Serializer处理，之后就到了Partitions阶段，即分区分配计算阶段。在某些应用场景下，业务逻辑需要控制每条消息落 到合适的分区中，有些情形下则只要根据默认...
2019-08-13 14:51:06
793
原创 7、Kafka生产者maven实例
1、创建maven项目并添加依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.or...
2019-08-13 14:47:29
2247
原创 6、kafka生产模型
Kafka生产者模型（1）同步生产模型如图上所示，同步生产模型中，生产者发送消息后需要等待服务端确认消息（配置的消息确认等待时间），如果没有确认消息则生产者会再次发送对应消息，直到达到设置的最大次数。如果有一次收到确认消息，则停止发送继续发送下一次，这就是“至少一次”发送语义！同步生产模型特点：–低的消息丢失率–高消息重复率（由于网络原因，回复确认未收到）–高延迟（需要确认）–低吞...
2019-08-13 14:42:53
272
原创 5、分区消费模型和组消费模型
一、分区消费模型分区消费模型：4个分区4个消费者实例，如图所示，一个分区对应一个消费者。步骤：1、获取分区数个数2、为每一个分区创建一个消费线程或进程，对应一个消费者实例3、每一个消费者实例工作内容：（1）创建kafka实例的连接（主机名和端口）（2）指定消费者参数（对应topic的哪个partition分区）（3）设置消费的偏移量（主题的某分区的哪个偏移量号开始-每条消息对应...
2019-08-13 14:40:19
377
原创 4、kafka基本操作
Apache Kafka 基本操作首先让我们开始实现单节点单代理配置，然后我们将我们的设置迁移到单节点多代理配置。希望你现在可以在你的机器上安装Java，ZooKeeper和Kafka。 在迁移到Kafka Cluster Setup之前，首先需要启动ZooKeeper，因为Kafka Cluster使用ZooKeeper。启动ZooKeeper打开一个新终端并键入以下命令 -zooke...
2019-08-13 14:37:52
168
原创 3、Kafka介绍
kafka中文文档：http://kafka.apachecn.org/documentation.html#introductionkafka客户端下载：https://cwiki.apache.org/confluence/display/KAFKA/Clients简单说明什么是kafkaApache kafka是消息中间件的一种，我发现很多人不知道消息中间件是什么，在开始学习之前，我这...
2019-08-13 14:26:25
264
原创 2、kafka环境搭建
这里写自定义目录标题安装前准备Java安装第一步、卸载第二步、安装二、搭建Zookeeper集群The number of milliseconds of each tickThe number of ticks that the initialsynchronization phase can takeThe number of ticks that can pass betweensendin...
2019-08-13 13:33:51
604
原创 1、kafka简介
参考文档：http://kafka.apache.org/documentation/#introductionhttp://kafka.apachecn.org/documentation.htmlhttps://www.jianshu.com/p/d3e963ff8b701、JMS是什么（1）JMS的基础JMS是什么JMS是Java提供的一套技术规...
2019-08-13 13:19:28
335
原创 10、Hadoop 2.0产生背景
产生背景Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题--HDFS存在的问题（1）NameNode单点故障，难以应用于在线场景（2）NameNode压力过大，且内存受限（元数据全部存在内容中），影响系统扩展性。--MapReduce存在的问题（1）JobTracker访问压力过大，单点故障，影响系统扩展性（2）难以支持除MapRed...
2019-04-11 09:47:06
222
原创 SQL高级嵌套
写了很多复杂的SQL脚本和存储过程，每次都需要花很长的时间去熟悉mysql的对应函数使用，所以很麻烦，记下来，以便后续少走弯路，提供自己和各位网友参考。注意：这里要非常留意，MYSQL单机环境下和MYSQL集群环境下（这里我用的MyCat数据中间件）出来的效果不一样，可能会检索出来多条记录，比如，不同的数据库执行各自的存储过程都会有一条或多条记录，最终返回给上层应用2倍的数据查询集；以...
2019-04-11 09:46:46
417
原创 9、MapReduce程序Java示例
Hadoop一般用于做数据分析以及数据挖掘，并不做类似sql的关系数据查询；MapReducer程序中程序员可以控制的部分：Mapper、Shuffle的partition，Combiner以及Reducer过程1、创建Eclipse的Hadoop程序新建程序，选择Java Project即可选择下一步，命名为MapReduce项目名，然后点击...
2019-03-30 15:05:55
2946
原创 8、Eclipse安装Hadoop-Eclipse-Plugin插件
1、事先需要插件，因此需要下载插件hadoop-eclipse-plugin-2.6.0.jar2、 将hadoop-eclipse-plugin-2.6.0.jar放到eclipse解压文件夹的plugins文件夹下。plugin路径：plugins就在eclipse中3、重启eclipse，就能看到对应的Map/Reduce小象图标。如果没有，点击左侧的小框，在o...
2019-03-30 15:01:13
954
原创 7、hadoop的MapReduce计算框架
说明1、MapReduce适合做离线计算框架2、Storm适合做流式计算框架，实时计算3、Spark内存计算框架，适合做快速获取计算结果1、基础知识核心理念是：移动计算而不移动数据移动计算：将你写好的程序分别拷贝一份到对应机器上，但是数据不移动；计算步骤：数据切片---->map task计算 -->shuffle --->re...
2019-03-30 14:58:53
561
原创 6、Java在Windows下使用Hbase操作Hadoop
（1）解决jar包依赖问题，可以使用两种方式1、直接创建maven工程，编写pom文件，添加依赖的jar包声明2、直接下载对应的hbase的linux压缩包，解压后拷贝文件夹lib下的所有jar包注意：在运行过程中会报错：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing...
2019-03-30 14:55:16
379
原创 5、HBase原理
简述HBase的架构原理1. HBase的模块 Master HBase Master用于协调多个Region Server，侦测各个Region Server之间的状态，并平衡Region Server之间的负载。HBase Master还有一个职责就是负责分配Region给Region Server。HBase允许多个Master 节点共存，但是这需要Zookeep...
2019-03-30 14:53:50
216
原创 4、Hadoop2.x+Hbase完全分布式安装
版本兼容问题：Hadoop完全分布式安装：此处配置两台机器：master : 192.168.0.104 机器名hadoop1slave1 : 192.168.0.105 机器名hadoop2slave2 : 192.168.0.106 机器名hadoop3zookeeper为hadoop1、hadoop2、had...
2019-03-30 14:53:05
497
原创 3、Hadoop+HBase+Hive+Zookeeper版本兼容问题
hadoop稳定版本选择hadoop决定用比较稳定版本hadoop2.7.1hadoop2.7.1中与hbase1.2.x兼容。hbase1.x与hive2.x是兼容的，与hive1.x需要编译。因此这里决定hbase使用1.x,hive使用2.xhbase稳定版本选择hbase中目前版本有hbase0.98,1.1.4,1.2.1,这里面稳定版是h...
2019-03-30 14:46:50
4785
原创 2、Zookeeper集群配置
单机模式和分布式模式前提：安装好jdk并配置好环境变量安装： 从zookeeper官网下载对应的包 我这里选择的是zookeeper-3.4.6.tar.gz，可以使用浏览器下载(lrzsz工具上传)或linux的wget下载 进入到/opt目录，拷贝zookeeper-3.4.6.tar.gz到改目录，解压：tar -zxvfzookeeper-3.4.6...
2019-03-30 14:42:49
152
原创 1、hadoop安装（1.2版本）
HDFS架构：（1）HDFS的文件被分成块进行存储（2）HDFS块的默认大小为64M（3）块是文件存储处理的逻辑单元（4）NameNode是一个唯一的管理节点，存储元数据（数据存放到哪些节点上）（5）DataNode实际数据存储节点数据管理与容错（1）默认数据块都有3个副本（廉价机器），同一机架有一份，不同机架有一份（2）DataNode定期向NameNode...
2019-03-30 14:40:40
157
原创 38、springcloud虚拟机网卡导致docker集群通信问题
在项目实战部署过程中，发现docker服务跑起来后，会遇到如下两个问题：（1）docker集群中运行的每一个容器一般会有3个网段（10.0段、10.255段和172段），在服务部署后，我们希望服务选择的网卡（注册到注册中心的网卡）与docker之间所在的网卡一直，也就是服务选择的网卡使我们创建的跨主机的网卡，那么服务与服务之间通信就没有问题，否则注册到注册中心的网卡不是我们创建的集群...
2019-03-30 14:37:55
638
原创 37、SpringBoot使用SSL免费证书
第一步、新建SpringBoot项目pom文件：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0ht...
2019-03-15 17:18:06
1342
cudatoolkit-10.2.89-hfd86e86-1.tar.bz2
2023-11-12
rabbitmq的C++客户端SimpleAmqpClient编译库
2018-07-22
PCM音频采集与异步播放SDK(解决阻塞问题)
2016-09-05
C++_WebService_Demon
2016-03-19
mysql-connector-java-3.1.13-bin.jar
2011-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人