- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 基于docker部署jenkins
1. 拉镜像和其他的部署的镜像的方式一样，通常是直接使用docker search jenkins然后直接docker pull jenkins此时，在安装插件的时候发现插件都安装失败，提示jenkins版本太低正确的安装方式是pull的时候直接带上版本号，使用docker pull jenkins/jenkins:lts2. 部署jenkins默认使用的端口号是8080和...
2020-09-24 17:35:00
197
原创 中文分词技术
中文分词技术(Chinese Word Segmentation) 指将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规则重新组合成词序列的过程目前中文分词算法有以下5类：基于词典的方法基于统计的方法基于规则的方法基于人工智能技术的方法基于字标注的方法在业务中，可以使用多种算法进行比较选择，其中比较选择的原则有以下几点：总词数越少越好切分单字词...
2020-09-18 17:15:00
1246
原创 布隆过滤器(Bloom Filter)详解
布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是...
2020-09-15 15:59:00
592
1
原创 真正理解Mysql的四种隔离级别
事务简单来说就是业务中多个操作提交后，要嘛全部成功，要嘛全部失败，不会出现部分成功部分失败的场景。事务具有四个特征（ACID）：原子性（ Atomicity ）、一致性（ Consistency ）、隔离性（ Isolation ）和持续性（ Durability ）。原子性：事务是数据库的逻辑工作单位，事务中包含的各操作要么都做，要么都不做一致性：事务执行的结果必须是使...
2020-09-15 15:56:00
162
原创 从内核文件系统看文件读写过程
系统调用操作系统的主要功能是为管理硬件资源和为应用程序开发人员提供良好的环境，但是计算机系统的各种硬件资源是有限的，因此为了保证每一个进程都能安全的执行。处理器设有两种模式：“用户模式”与“内核模式”。一些容易发生安全问题的操作都被限制在只有内核模式下才可以执行，例如I/O操作，修改基址寄存器内容等。而连接用户模式和内核模式的接口称之为系统调用。应用程序代码运行在用户模式下，当应用程序...
2020-09-15 15:34:00
128
原创 如何评价腾讯开源的消息中间件TubeMQ？
周五晚上无聊，粗粗撸了一遍代码+性能测试文档，随便扯扯吧。主要分为亮点、槽点、瓶颈分析三块，理解有问题的话欢迎大家指出来。亮点结构相对清晰，流程简单一目了然每个分区一个逻辑存储的设计，在一定程度上增大了写盘之前处理的并发数（这点会在瓶颈分析部分）自建缓存的设计使得写盘相对可控，不会污染pagecache导致写放大槽点不可靠。没有落盘就进行ack，在大多数金...
2020-09-15 15:09:00
465
原创 零拷贝（Zero-copy）及其应用详解
传统的数据传输方法在互联网时代，从某台机器将一份数据（比如一个文件）通过网络传输到另外一台机器，是再平常不过的事情了。如果按照一般的思路，用Java语言来描述发送端的逻辑，大致如下：Socket socket = new Socket(HOST, PORT);InputStream inputStream = new FileInputStream(FILE_PATH);Out...
2020-09-15 15:01:00
971
原创 RabbitMQ集群原理
RabbitMQ分布式部署有3种方式：集群、Federation和Shovel。这三种方式并不是互斥的，可以根据需求选择相互组合来达到目的，后两者都是以插件的形式进行设计，复杂性相对高，此篇只聊一下RabbitMQ自带的内建集群。我们把部署RabbitMQ的机器称为节点，也就是broker。broker有2种类型节点：磁盘节点和内存节点。顾名思义，磁盘节点的broker把元数据存储...
2020-06-20 23:20:00
501
原创 深入了解RabbitMQ
存储机制RabbitMQ消息有两种类型：持久化消息和非持久化消息。这两种消息都会被写入磁盘。持久化消息在到达队列时写入磁盘，同时会内存中保存一份备份，当内存吃紧时，消息从内存中清除。这会提高一定的性能。非持久化消息一般只存于内存中，当内存吃紧时会被换入磁盘，以节省内存空间。RabbitMQ存储层包含两个部分：队列索引和消息存储，如下图队列索引：rabbit_queue_in...
2020-06-20 23:20:00
283
1
原创 RabbitMQ存储模型
了解一些 RabbitMQ 的实现原理也是很有必要的，它可以让你在遇到问题时能透过现象看本质。比如一个队列的内部存 储其实是由5个子队列来流转运作的，队列中的消息可以有4种不同的状态等，通过这些可以明白在使用 RabbitMQ 时尽量不要有过多的消息堆积，不然会影响整体服务的性能。存储机制RabbitMQ消息有两种类型：持久化消息和非持久化消息。这两种消息都会被写入磁盘。持...
2020-06-20 23:18:00
1031
原创 RabbitMQ和Kafka如何选择
最近很多人问RabbitMQ和Kafka要如何进行选择，甚至有一个风向：说是MQ性能不够了要切Kafka。且先不说成熟系统换组件的风险，光把那一坨沉淀了多年的醇酿翻新重构已然处于崩溃的边缘，蓦然回首，码是人非。选型最快的方式就是了解下晚出现的中间件的起源，因为他们在付出努力之前肯定做了一波详细可研和成品的基准测试，我们直接拿来参考即可，然后再对比下各自的特性和差异，选型就有理论基础...
2020-06-13 17:57:00
408
原创 漫谈：地摊经济
近期，被称为是人间烟火的地摊经济不仅点亮了城市的夜晚，也点亮了大家的朋友圈，互联网大佬们也收起电脑走入夜色小巷，摇身变成圈中最亮的仔。那么摆地摊到底能不能变富呢？「 市场 」摆摊作为一种低门槛走入市场的手段有着天然的优势，少量成本的投入去感受真实的市场。想从众多竞争对手中脱颖而出，就需要直接问市场问用户，但大部分人都还只停留在翻书找资料，想着卖哪种产品、...
2020-06-13 17:53:00
219
原创 （四）下载利器aria2
既然较私有云，那么离线下载这最起码的功能应该得要支持吧，这时候发现了aria2。这玩意简直是大杀器，支持http也支持bt下载，性能不弱，速度也不逊色于迅雷，缺点就是没界面。没界面没关系，还有万能的基友们，带上AriaNg就万事俱备了。首先，安装aira2，老配方：偷懒的同学可以直接选用前4个镜像，我喜欢单独装，因为这样就可以自己diy了，所以选择了opengg/aria2。...
2020-04-09 23:15:00
785
原创 （三）轻量级文件服务器filebrowser
既然资料都热备好了，那在外面还想看看资料，怎么办呢？机器好的，上个nextcloud或者owncloud，我的需求只要能下载能上传即可，要不了那么多的功能，所以此处推荐一个轻量级文件服务器filebrowser。filebrowser在GitHub上也有6.6K的star，虽然不维护了，但论基本功能却已足够。依然是熟悉的docker化部署：选择哪个镜像都ok，此处我选择...
2020-04-08 23:07:00
1854
原创 （二）数据同步利器syncthing
数据互备肯定是首选需求有了娃之后手机最大的限制就是照片太多了不舍得删，想象一下回到家里就自动备份到私有云上，再不怕丢失。syncthingSyncthing is acontinuous file synchronization program. It synchronizes files between two or more computers. We strive to ...
2020-04-07 21:42:00
703
原创 centos 安装 samba
实际上日常使用中，经常用\\ip地址\目录来访问局域网的共享文件，这都归功于smb协议SMB（Server Message Block）通信协议是微软（Microsoft）和英特尔(Intel)在1987年制定的协议，主要是作为Microsoft网络的通讯协议。SMB 是在会话层（session layer）和表示层（presentation layer）以及小部分应用层（appli...
2020-03-31 23:37:00
220
原创 （一）安装samba
实际上日常使用中，经常用\\ip地址\目录来访问局域网的共享文件，这都归功于smb协议SMB(Server Message Block)通信协议是微软(Microsoft)和英特尔(Intel)在1987年制定的协议，主要是作为Microsoft网络的通讯协议。SMB 是在会话层(session layer)和表示层(presentation layer)以及小部分应用层(appli...
2020-03-31 23:37:00
156
原创 私人服务器 - 选换系统
从单位离职后上交了x1，家里就剩08年服役的T400了，虽然我给它加过固态硬盘和内存让它能老当益壮或者回光返照，但没有换芯的它也已经开始带不动我的手速了，无奈之下只能去找找新人。从t系列找到x系列，要嘛被价格劝退，要嘛配置不足，虽然我也很想华为一把，但是16g内存是我的起点啊，于是只能把小新揽入怀了。谁曾想2020开始了云办公...只见新人笑，不见旧人哭，人在家中宅，利旧行动势在必行！换...
2020-03-30 16:38:00
274
原创 （序）利旧打造私有云
退伍的T400也要发挥洪荒之力原始需求：基本的数据热备、传输等：可以同步照片，同步资料，局域网看片什么的，支持smb协议就可以了可以跑应用服务：个人建站的组件，最起码的nginx、java、数据库、redis之类，docker化支持私人影院：虽然很想拥抱，但是目前并无需求，况且硬解软解能力均不行，放弃软路由：猿们上网冲浪必备简单起见，centos系统就可以了，不上...
2020-03-30 16:38:00
181
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人