- 博客(30)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 kafka配置
在kafka的核心思路中，不需要在内存里缓存数据，因为操作系统的文件缓存已经足够完善和强大，只要不做随机写，顺序读写的性能是非常高效的。kafka的数据只会顺序append，数据的删除策略是累积到一定程度或者超过一定时间再删除，只要磁盘没有限制并且不出现损失，kafka可以存储相当长时间的消息。Kafka另一个独特的地方是将消费者信息保存在客户端而不是MQ服务器，这样服务器就不用记录消息的投递过程，每个客户端都自己知道自己下一次应该从什么地方什么位置读取消息，消息的投递过程也是采用客户端主动pull的模
2022-04-11 14:22:56
1759
原创 Linux并发环境配置
修改最大连接数1、查看当前文件描述符的限制数目的命令：ulimit -n2、修改文件描述符的限制数目2.1 临时改变当前会话：ulimit -n 655362.2 永久变更需要下面两个步骤：1) 修改/etc/security/limits.conf 文件（不要忘记前面的*），如下：vi /etc/security/limits.conf* soft nofile 570000* har...
2022-04-11 13:45:18
3980
原创 rabbitmq部署
AMQP协议的核心由exchange、message queue和binding构成“exchange”接收发布应用程序发送的消息，并根据一定的规则将这些消息路由到“消息队列”。“message queue”存储消息，直到这些消息被消费者安全处理完为止。“binding”定义了exchange和message queue之间的关联，提供路由规则。关系图如下：适用范围1. 基于erlang语言开发具有高可用高并发的优点，适合集群服务器。2. 健壮、稳定、易用、跨平台、支持多种
2022-04-11 11:54:12
2343
原创 Postgresql部署
Mysql缺点：当将一个字段定义为int(11)时，你却可以轻松地向该字段插入文本数据； 任何表的修改操作(例如：添加一列)都会导致表被锁，此时将无法进行读或写操作。PostgreSQL可以解决很多MySQL不能解决的问题。例如，PostgreSQL中你不能将文本数据插入一个数字字段。PostgreSQL 还具有在许多方式中不需要每一个操作都上锁就可以改写表的能力。例如，添加一列没有默认值却可以设置为null的列并能够快速完成无需锁定整个表。还有其他各种有趣的功能，如在 PostgreS
2022-04-11 11:46:08
1148
原创 MySQL部署
ubuntu下安装方式：# apt-get install mysql-server mysql-client索引&外键联合索引要将匹配（=）放在前面，范围（><）放在后面，否则会失效函数DATE_FORMAT会引起索引失效，导致全表扫描多表关联查询索引失效问题：关联字段的字符集类型不同；大表（数据量大）的字段进行匹配；条件顺序有时候也会影响缓存设置query_cache_type：使用查询缓存的方式【查看：select @@query_cache_t
2022-04-11 11:40:53
519
原创 Java常用缓存
memcache：是一种高性能、分布式对象缓存系统，最初设计于缓解动态网站数据库加载数据的延迟性，你可以把它想象成一个大的内存HashTable，就是一个key-value键值缓存。C语言所编写，依赖于最近版本的GCC和libevent。GCC是它的编译器，同时基于libevent做socket io。在安装memcache时保证你的系统同时具备有这两个环境。支持多个cpu同时工作，在memcache安装文件下有个叫threads.txt中特别说明，By default, memcached is ..
2022-04-11 09:49:13
3195
原创 java io 知识点
JVM的多线程通常是不依赖于操作系统来实现的；JVM自动分配线程到os，os自动分配线程到CPU；对单核CPU而言，多线程主要用在出现IO阻塞时才能提高效率，否则它会比单线程慢（多线程切换）；CPU密集型：顾名思义就是应用需要非常多的CPU计算资源，在多核CPU时代，我们要让每一个CPU核心都参与计算，将CPU的性能充分利用起来，这样才算是没有浪费服务器配置，如果在非常好的服务器配置上还运行着单线程程序那将是多么重大的浪费。对于计算密集型的应用，完全是靠CPU的核数来工作，所以为了让它的优势完全发挥
2022-04-11 08:37:55
129
原创 mysql小结
# 三大范式第一范式：每个列都不可以再拆分。第二范式：在第一范式的基础上，非主键列完全依赖于主键，而不能是依赖于主键的一部分。第三范式：在第二范式的基础上，非主键列只依赖于主键，不依赖于其他非主键。在设计数据库结构的时候，要尽量遵守三范式，如果不遵守，必须有足够的理由。比如性能。事实上我们经常会为了性能而妥协数据库的设计。# 权限表MySQL服务器通过权限表来控制用户对数据库的访问，权限表存放在mysql数据库里，由mysql_install_db脚本初始化。这些权限表分别u
2022-04-09 15:35:23
1017
原创 java类型小结
数据类型Java数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。 “引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。 基本类型包括：byte，boolean（1 byte），short，char（2 bytes），int，float（4 bytes），long，double（8 bytes） 引用类型包括：类类型，接口类型和数组。引用类型有强引用，软引用，弱引用，虚引用..
2022-04-09 14:35:33
68
原创 JVM小结
JVM分为四部分Class Loader 类加载器：实质是把类文件从硬盘读取到内存中，只要符合文件结构就加载，至于说能不能运行，则不是它负责的，那是由Execution Engine 负责的。Execution Engine 执行引擎：执行引擎也叫做解释器(Interpreter) ，负责解释命令，提交操作系统执行。Native Interface本地接口：调用其它语言库。Runtime data area 运行时数据区：整个JVM 的重点。我们所有写的程序都被加载到这里，之后才开始运行..
2022-04-09 10:46:52
63
原创 Linux图形界面总结
一、linux本身没有图形界面，linux现在的图形界面的实现只是linux下的应用程序实现的。图形界面并不是linux的一部分，linux只是一个基于命令行的操作系统，XFree只是linux下的一个应用程序而已。这与WINDOWS不一样，他们的图形界面是操作系统的一部分，在系统内核中就实现了，没有了图形界面windows就不成为windows了，但linux却不一样，没有图形界面linux还是linux，很多装linux的WEB服务器就根本不装X服务器。这也WINDOWS和linux的重要区别之一。..
2022-04-07 20:43:10
5106
原创 系统端口转发
linux端口转发两种方式：iptables，sshwindows端口转发一种方式：netshIptables关键字：iptables(L3)编辑/etc/sysctl.conf文件，将net.ipv4.ip_forward=1前面的#注释去掉，保存文件，然后执行sudo sysctl -p使其生效法则：iptables -t 表名 指令 链名 描述 -j 动作表名有filter；nat；mangle，默认为filter(可省略)；指令有-A(追加),-I(插入),-D(删除
2022-04-07 17:25:55
2181
原创 DAS、SAN和NAS三种存储方式
首先来看一下存储的分类，根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，开放系统指基于Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储；外挂存储根据连接的方式分为：直连式存储（Direct-AttachedStorage，简称DAS）和网络化存储（Fabric-AttachedStorage，简称FAS）；网络化存储根据传输协议又分为：网络接入存储（Network-AttachedStorage，简称NAS）和存储区域网络（Sto...
2022-04-07 17:18:44
2608
原创 Disruptor学习
从功能上来看，Disruptor 是实现了“队列”的功能，而且是一个有界队列。那么它的应用场景自然就是“生产者-消费者”模型的应用场合了。可以拿 JDK 的 BlockingQueue 做一个简单对比，以便更好地认识 Disruptor 是什么。我们知道 BlockingQueue 是一个 FIFO 队列，生产者(Producer)往队列里发布(publish)一项事件(或称之为“消息”也可以)时，消费者(Consumer)能获得通知；如果没有事件时，消费者被堵塞，直到生产者发布了新的事件。这些都是 D
2022-04-07 17:07:47
77
原创 Tomcat学习
Tomcat之server.xml设置：一、二级域名设置：<Engine name="Catalina" defaultHost="www.XXXtech.com"> ………… <!-- 一级域名 --> <Host name="www.XXXtech.com" appBase=""unpackWARs="true" autoDeploy="true">...
2022-04-07 16:34:50
46
原创 ApacheDS学习
Apache 目录服务器是众多的 Internet 协议中的一个开放源码的、基于 Java 的实现。ApacheDS 的核心是目录服务，可以保存数据，并对不同类型的数据进行搜索操作。协议的实现在目录服务器顶层工作，提供与数据存储、搜索和检索有关的 Internet 服务。ApacheDS 最重要的特性可能是利用不同协议公开目录服务的能力。这意味着可以把应用程序的数据（包括运行时的 Java 对象）保存在 ApacheDS 中，而不同的客户机可以使用不同的协议来利用数据。由 ApacheDS 实现的最..
2022-04-07 15:45:29
973
原创 vsftpd搭建
纲要：VsFTPd的简述 企业Linux下vsFTPD方案 VsFTPD相关配置文件详解一，VsFTPd的简述：VSFTP（Very Secure FTP Daemon，非常安全的FTP服务器）。顾名思义，VSFTPD设计的出发点就是安全性。同时随着版本的 不断升级，VSFTPD在性能和稳定性上也取得了极大的进展。除了安全和性能方面很优秀的外，还有很好的易用性。Red Hat公司在自己的FTP服务器 (ftp.redhat.com)上就使用了vsFTPd二，企业Linux下vsFT
2022-04-07 15:28:50
412
原创 Java线程及线程池
java多线程主要面临的问题就是线程安全问题->线程安全问题是由线程间的通信造成的，多个线程间不通信就没有线程安全问题->java中线程通信只能通过类变量和实例变量，因此解决线程安全问题就是解决对变量的安全访问问题->java中解决变量的安全访问采用的是同步的手段，同步是通过锁实现的->有三种锁能保证变量只有一个线程访问，偏向锁最快但是只能用于从始至终只有一个线程获得锁，轻量级锁较快但是只能用于线程串行获得锁，重量级锁最慢但是可以用于线程并发获得锁，先用最快的偏向锁，
2022-04-07 15:21:41
221
原创 java数据库连接池
数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。连接池基本的思想是在系统初始化的时候，将数据库连接作为
2022-04-07 15:01:04
571
原创 scala学习
程序运行方式：一是在/opt/scala-2.10.4/bin目录下执行scala /opt/tmp/hello.scala【运行脚本文件，后面可跟参数】；二是执行scala命令，进入交互界面，再使用命令scala> :load /opt/tmp/hello.scala【导入脚本文件，可继续执行scala> hello，不知如何加参数？】；三是执行scala，进入交互界面，在命令行中编写程序并运行。在交互界面中可执行scala> :help查看帮助。关键字：Val ..
2022-04-07 14:52:34
326
原创 C++学习
C++预处理命令：宏定义define；文件包含<>和“”；条件编译类型转换自动转换：char→short→int→uint→long→ulong→float→double强行转换：static_cast；dynamic_cast；const_cast；reinterpret_cast函数转换：atoi；atol；atof；sprintf；…数据库连接Windows：可用ADO方式：Linux：连接Mysql可用Mysql++或mysqlclient；连接Ora..
2022-04-07 14:45:09
1563
原创 python学习
对象与引用：a=1b=1c=a1为对象，a,b,c都是其引用，这与java相似（b=new Integer(1)则为不同的引用），与c++不同（a,b,c,1皆为对象）。a = "very good morning"b = "very good morning"a,b引用的"very good morning"对象不同，这是因为python中，小整型(-5 ~256 )以及较短字符串类型(长度5以内可以)，会使用已有对象？但这也并不是一成不变的，会随版本变化。垃圾回收：
2022-04-07 14:42:00
666
原创 nodejs学习
目的1.Node 是一个服务器端 JavaScript 解释器。2.Node 的目标是帮助程序员构建高度可伸缩的应用程序，编写能够处理数万条同时连接到一个物理机的连接代码。处理高并发和异步I/O是Node受到开发人员的关注的原因之一。3.Node 本身运行Google V8 JavaScript引擎，所以速度和性能非常好，看chrome就知道，而且Node对其封装的同时还改进了其处理二进制数据的能力。因此，Node不仅仅简单的使用了V8，还对其进行了优化，使其在各种环境下更加给力。（什么是V..
2022-04-07 14:32:40
39
原创 CPU与GPU
CPU和GPU之所以大不相同，是由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。 于是CPU和GPU就呈现出非常不同的架构（示意图）： 图片来自nVidia CUDA文档。其中绿色的是计算单元，橙红色的是存储单元，橙黄色的是控制单元。 GPU采用了数量众多的
2022-04-07 14:08:18
69
原创 springboot更换默认配置文件
不使用默认的application.yml或application.properties文件，而是直接使用application-admin.yml和application-local.yml。在其中一个文件中配置spring.profiles.active指定另一个文件的方式无效，必须同时指定两个文件或将所有配置放置到一个文件中方式一修改项目启动方法，spring.config.location也可以换成spring.config.name@EnableEurekaClient@Sprin
2022-04-07 13:53:21
653
原创 springboot yaml文件中对数据库密码加密
使用jasypt方式加密在yaml配置文件中将数据库连接方式改为：driver-class-name: com.mysql.jdbc.Driverurl: jdbc:mysql://hostname:3306/test?serverTimezone=GMT%2B8username: rootpassword: ENC(wZ9i6h5kSFaWUl25y/aYEp3QINXbA3A2)在配置文件中添加对了解jasypt的人无效jasypt: encryptor:..
2022-04-07 13:42:10
1022
原创 springboot打包分离配置文件
修改pom.xml文件分离配置文件及jar包<build> <finalName>timer</finalName> <plugins> <!-- 打JAR包，不包含依赖文件；显式剔除配置文件 --> <plugin> <groupId>org.apache.maven.plugins<...
2022-04-07 13:22:50
793
原创 eclipse中maven配置nexus私服的settings.xml
<?xml version="1.0" encoding="UTF-8"?><!-- 将该文件放在C:\Users\Administrator\.m2目录下，再点击Eclipse->Windows->首选项->Maven->User Settings->Update Settings按钮，然后可以在Maven Repositories视窗查看Globe Repositories选项。使用此文件后无须再pom.xml中再配置nexus私服-->.
2022-04-07 10:49:00
131
原创 hbase搭建问题
hbase单机搭建，不搭建hadoop hbase单机搭建，不搭建hadoop，使用外部zk hbase docker方式，使用主机网络 hbase docker方式，宿主机16020端口需映射到虚拟机16020端口hbase单机搭建，搭建hadoop集群，hdfs://…/hbase4one hbase集群搭建，搭建hadoop集群，hdfs://…/hbase hadoop docker集群（待定）java连接报错 “org.apache.hbase.thirdparty.io.
2022-04-07 10:41:42
2532
原创 ubuntu16.04开机自启动
bash shell处理文件的顺序如下：/etc/rc.local/etc/profile 用户环境变量/etc/profile.d等待配置文件$HOME/.bash_profile$HOME/.bash_login$HOME/.profile/etc/rc.local配置：#!/bin/sh -e## rc.local## This script is executed at the end of each multiuser runlevel.
2022-04-07 10:34:58
1677
words-zh-as.CompiledSpellChecker
2018-07-26
opencv-2.4.13.4-vc14
2018-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人