- 博客(67)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 nginx配置ssl认证 及 作为ssl客户端代理
生成相关ssl证书，获得 ca.key ca.cart server.key server.crt client.key client.crt。好久没有弄证书相关的，费了些劲儿，在此记录一下。
2024-04-12 14:13:01
182
原创 Linux系统优化要义
严格来说叫内存管控，也是docker的底层原理。IO优化通常在需要进行大量文件读写，或进行大量网络请求的情况，如数据库服务器，中间件服务，文件存储服务器，或承担高并发的基础服务的服务器等。1.文件读写频率的调整，需要的实时性越高，以下3项需要设置得越小，CPU消耗越多。一般情况不建议内存优化，特别是OOM机制，是系统级别的兜底机制，否则真卡住，只能去机房了，如果机房在贵州山里面就很麻烦了哈哈哈。linux作为服务器系统的王者，以稳定性著称，但对于不同的“应用场景”，相关配置还需调整，才能保证业务稳定性。
2024-01-27 21:03:59
454
原创 influxdb2.x安装配置指南
在bin目录（rpm安装则/etc/influxdb2目录）新建文件config.yml，在config.yml中指定相关配置项，以下是本人整理的config.yml，可按实际情况调节。influxdb的教程已经是很清楚了，但没有中文版翻译，以下是个人安装配置总结。此处需找到对应cpu类型的版本，一般都是amd的也就是x86_64。到此处本文无营养，官网看看就懂了，以下是整理的有用的配置项。访问 ip:8086会提示设置账号密码，进入控制台。进入bin目录，运行 ./influxd。
2023-11-28 20:15:00
1386
原创 ADAS数据平台实践总结
用户 ---- 上传路试数据 ---- 转换为标准数据 ---- 标准数据再处理（运行各种模型）---- 切片（筛选出关键事件、场景，统计宏观数据）---- 对场景、关键事件进行回溯验证 ---- 出具报告。最后，软件要实现一些功能或性能要求，通过不断演变肯定能实现，比如时序库通过优化UDF，把外部模型转换为UDF函数，再优化执行UDF的传输格式，甚至集群模式下进行 基于本地化的“分区”等，当然这是时序库本身的工作，不是使用者的工作。结果文件---通过sql访问，除python外，速度较慢。
2023-11-05 16:08:39
421
原创 基于JQ的表达式
jq是一个灵活性极强的json处理库，支持丰富的表达式，对于多数据适配场景来说具有很大作用。官方语法教程 https://jqlang.github.io/jq/manual/cmd 中无需外部 引号，powershell则需要引号，无需echo。windows与 cmd 与powershell略有不同。如通过java调用jq命令可参考如下类。
2023-06-27 22:45:00
337
原创 Linux （centos）中文乱码问题解决 及说明
当一个系统初始化完毕后，会生成一个 /usr/lib/locale/locale-archive 文件，这个是字符集二进制文件，是系统不同语言运行的核心，通过命令 locale -a 可以看到当前文件中支持的语言。通常我们要做的就仅仅是改变LC_CTYPE就可以，如果是简单机器下这里的任意一项都可以很方便的修改，但是如果复杂第一点，则很容易出现 setlocale: 错误或警告。那么为什么不去不更改其他选项呢？到这里，通过locale -a |grep zh_CN 确认了我们系统支持了中文的能力。
2023-05-27 21:08:46
6077
2
原创 产品研发流程管理
那么我们该如何掌握这些过程呢？在怎样的阶段 ，需要输出哪些内容呢，下图是个人总结。图中标红部分 必须要做的，这样才能分清边界，提高效率。先看一张图，该图适应绝大部分的产品的 研发流程。
2023-04-20 17:32:06
455
原创 HAProxy TCP路由配置
haproxy是基于4层协议的转发负载工具，与nginx（主7层）一样，适合做tcp的负载均衡（eg.mysql），使用该功能 主要分3步。可以用 nc -l -p 9997 进行模拟，值得注意的是，当前这nc命令行只能连接一个tcp客户端，如果是自有程序就可以用多线程啥的。那么在 /etc/rsyslog.d/listen.conf中配置，不过正常情况用 journal -f -u haproxy 就可以。cpu匹配，如有需要可用 cpu-map。1.确认linux当前系统支持tcp转发。
2023-04-06 17:01:30
953
原创 spring cloud stream 自定义binder
记得，不要扫描到BinderConfiguration，xxBinderConfiguration 是在binderService动态配置的，具体构建Binder在这，如果扫描到BinderConfiguration类，此处binders.size就不是0了。中间件 --- binder --- channel --- sink --- （处理）---source ---channel ---binder ---中间件。但是有时候还需自己实现，官方也给出了响应步骤。cp了一网友的项目，我换成了maven，
2023-03-09 17:12:44
903
1
原创 基于跨语言的大量数据实时传输方案
语言栈众多的时候，大家一般采取网络传输协议 进行分解，常用的http rpc grpc ，这些都是很好的解决方式，但是他们有一个问题，实时性与数据量不能兼得，不过也适用了大部分场景，本文推的是 对实时性、数据量都有要求的方案。基于以上3点，我们最终将技术方案定到 apache-arrow上，他是基于C++的一个数据共享方案，包含了基于文件的共享，基于内存共享，基于rpc的数据共享方案。去序列化，如python与java进行通信，语言之间数据内存格式不一样，一般都需要进行序列化，可采取内存共享方式。
2023-02-16 10:54:58
734
原创 iptables设置黑白名单
一般情况服务访问可以通过网关控制，很久没有用iptables了。(linux默认用firewalld，没有iptables，习惯iptables就需要重装了)systemctl status firewalld 防火墙状态检查一下。systemctl disable firewalld 禁用防火墙。systemctl stop firewalld 关闭防火墙。然后 yum install iptables。后续若需修改，修改文件即可。
2022-09-19 17:00:28
778
原创 lua实现nginx带缓存的鉴权
部署lua 参考nginx配置lua脚本_一杯米酒-CSDN博客部署完成后，就需开始编写脚本了，本人搞了1天多1.更改nginx的支持自定义header(重要，否则无法获得自定义header)在http{}中 加 ：undersocores_in_headers on;在http{}中加：ngx.shared tokens 10m;#代表最大10m2.配置lua文件server{}中 加 access_by_lua_file xxx你的lua脚本地址；#推荐在conf下建lua目录
2022-01-28 15:51:35
2299
原创 系统架构心得
2021-8-13，截止这一天，已经是10年的老程序员了，可能由于性格强势原因，工作中通常是以leader角色出现，架构也就是再平常不过的事情了，这里总结一下下。 架构的定义，其实架构不是一件很高大上的事情，他通常叫“架构设计”，架构的实现就是设计。一个平台需要架构、一个系统需要架构、一段代码可能也需要架构。架构是一种思想的体现，24设计模式就是架构的实现方式。so，架构是一种设计思想 架构不是额定的，主要根据实际情况而定，最合适的才是最好的。最影响架构的...
2021-08-16 11:40:22
254
原创 ELK真的好用吗
在涉及到日志分析处理时，仿佛出现了一致性的ELK，因为花费的时间少，只需要简单的搭建，然后filebeat或mq入口即可，但是今天讨论的是他的不足1.ELK资源占用高，性能 性价比较低真正在生产环境中用过的应该清楚，采用ES存储的，日志多点需要进行分片，logstash分析也非常消耗性能2.UI太low采用kabana进行DQL，返回数据，在网页上显示不友好，特别是熟悉了linux命令行的伙伴们，非常影响效率3.不方便做离线日志分析 除了...
2021-08-03 17:02:18
920
原创 邀请码生成工具
import org.apache.commons.lang3.ArrayUtils;import org.apache.commons.lang3.RandomUtils;import java.util.ArrayList;import java.util.Collections;import java.util.List;/** * @author yy * @date 2020年9月14日 * @description 邀请码工具类 * */public class In.
2021-05-21 16:24:27
2458
原创 JAVA性能调优--CPU消耗过高
1.查看那个进程cpu消耗比较多 top直接看2.根据进程查看线程的占用时间top -Hp 3398993. 将线程号转换为16进制 printf "%x\n" 3400114.堆栈中找到对应的类jstack 339899|grep 5302b发现了lettuce ，redis占用过多根据后续业务优化即可...
2021-04-02 17:13:46
923
2
原创 视频概念普及
最近同事整理了关于一些视频相关的概念，到这里记录一下吧1.说说视频编码格式、视频码率、视频帧率、分辨率的概念?编码格式：一个视频文件本身，通常由音频和视频两部分组成。常见的视频编码格式有Xvid，AVC/H.264，MPEG1，MPEG2等，常见的音频编码有MP3、AAC等。视频码率(比特率)：是指视频文件在单位时间内使用的数据流量(每秒传送的比特(bit)数)，也叫码流率。码率越大，说明单位时间内取样率越大，数据流精度就越高，这样表现出来的的效果就是：视频画面更清晰画质更高。视频帧率：通
2021-03-20 02:40:56
3687
原创 redis stream数据类型
redis5新加了stream流类型，可以代替之前基于list的发布订阅，采用类似kafka的设计方式，是广大码农的福音，如果不是具有巨大流量，则可以完全弃用其他单独（因为是key设计模式，所以基本是单节点承受压力，所以单个topic流量不能过于巨大，不过万级不是问题）以下是基本命令：增加一条数据：xadd mzvd:vedio * data aaa创建一个消费组：XGROUP create mzvd:vedio g1 $通过组读取数据： XREADGROUP group g1 co..
2020-05-13 14:13:33
1153
原创 互联网公司0到100的技术发展 -- 完整的1
如果公司开始有了一批用户，这代表业务在市场开始见效，一般都会趁热打铁做极大推广，引来 “巨型”流量，业务会成指数增长。但是请记住，并不是也推广就会起效，市场也需要不断的去试探，所以不用急急忙忙的把所有东西都弄成高并发、高可用此时公司的业务状态是：转瞬即逝、大起大落，基于这样的情况该如何面对呢？环境在从上一个阶段的发展来看，一般会产生比较大的人员流动，此时凡是能留下来的人员，基本都具备了...
2020-03-08 16:09:09
534
原创 互联网公司从0到100的技术发展 -- 0到1的发展
上一篇文章说到了公司已经有了一个最基本产品，那么接下来应该如何发展呢？在这个时段，公司会发生哪样的变化，我们应该怎么预案呢？当有产品上线之后，活动是现在最必不可少的手段。技术的业务活基本就是推广业务，这是从0到1遇到的第一个小怪，一定要拿正姿态。不要图轻松，毕竟创业的过程是艰难的。环境之前说了公司的环境应该是无大小、无强弱，在这里就开始有一点变化了。这时候公司会新增业务人员（也可能是第...
2020-03-08 14:43:25
245
原创 互联网公司从0到100的技术发展 -- 0到1的起航
大家都爱进大厂，大家都爱谈高并发，大家都爱说海量用户、海量数据。确很少听到创业公司应该怎么做技术，怎么求发展。本人因为不够聪慧，没有在BAT这样的公司好好工作过，但是却认识了从0到1，1到100的大部分过程，在此做一个分享本篇说说对创业公司技术组织的看法环境创业公司首先气氛一定要有，没有君臣之分，没有强弱之分。作为一家创业公司，在市场上没有任何立足之地，存活是主要任务，这直接影响了业务...
2020-03-07 16:28:36
237
原创 ReentrantReadWriteLock具体作用
通常情况下，使用synchronize就可以实现锁，但有些业务场景的时候不适合使用这个，synchronize本身无序的非公平锁，所以可能出现 多个线程一起读取，因为有其他线程更改过了，读取的数据不一样。以下是我写的demo，可以看出readWriteLock的所用。读写锁非常适合高频读取，又必须不能出现误差的场景，如行情信息等package com.yy.test.lock;impo...
2020-02-11 17:25:37
427
原创 发布eth代币
添加google插件从各种方式获取MeatMask.crx插件，然后打开谷歌：chrome://extensions/将MeatMask.crx拖进去(mac先重命名为.zip 再采用命令unzip Meatmask.crx解压，然后丢压缩包到扩展)此时浏览器右上角出现小狐狸，就OK了生成账号选好网络点击小狐狸，顺着下一步，把6个英文单词记录下来，然后就到了如下界面执行智能合约...
2020-01-13 19:12:23
1125
原创 Itext制作PDF
创建模板 下载PDFelement，新建一个pdf，依次点击 “编辑”、“表单”然后保存就好了，key 为money 代码构建 pom文件引入jar <dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</ar...
2019-06-19 17:23:59
222
原创 模型驱动
在实际项目开发过程中，一定会遇到建模，一个好的模型能避免很多问题，能有效保证需求方、产品方、开发及运营人员 统一认知。在实际情况下非常重要，简单总结如下，顺序从左至右分类 业务模型 领域模型 设计模型 产出 业务架构图 功能架构图 系统架构图 解释 确定业务，涉及运作方式。通常需要高层人员确定，属于战略性决策成果 确定功能，涉及动作、角色...
2019-04-28 16:45:31
176
原创 java锁
哈哈哈，刚一朋友问我java锁里面有啥，想了一下，不知道怎么表达呀，太多了，在这里总结一下所谓多种锁，都是相对而言的，不同的锁都是通过不同维度来说明的悲观锁-乐观锁：这是两种不同的思想，悲观锁认为有并发就玩完，数据会不一致。乐观锁认为有并发没问题，检查一下就行了。基于这个思想，出现了不同的实现，synchronized就是这么认为的，有线程进来，其他线程就不要进来了。Ree...
2019-04-26 17:43:09
170
原创 FastDFS优化与应用
上一篇文章已经就 fastdfs安装完毕并可以应用，大部分业务已经可以使用。但是在写入实时性要求很高的情况下，需要进行优化。主要涉及2个方面：1、系统优化，优化IO达到内存多少百分比时，刷入IO磁盘 pdflush原值：echo 10 > /proc/sys/vm/dirty_background_ratioecho 1 > /proc/sys/vm/dirty_b...
2019-03-06 14:54:44
838
原创 FastDFS安装与说明
1.安装依赖库 安装 libevent yum install libevent.x86_64 安装 libfastcommon git clone https://github.com/happyfish100/libfastcommon.git (可下载至本地后上传) tar -vxf libfastcommon.tar.gz cd li...
2019-03-06 14:11:02
453
原创 初探SEO
SEO阅读笔记目录基本规则URL优化代码优化代码内容优化页面头部优化图片优化网页结构基本规则1.资源越浅越容易被收录2.资源越浅 越容易被收录3.关键词越靠文档（html）前，越容易被收录4.关键词出现的次数越多越好URL优化Url中携带关键词组合关键词：eg. IPHONE 6Plus (iphone和6plus 都可以...
2019-03-06 13:59:14
164
转载 JVM调优 及 GC收集器
根据Java GC收集器具体分类，我们可以看出JVM根据需求不同提供了三种选择：串行收集器、并行收集器、并发收集器。 串行收集器只适用于小数据量的情况，我们主要了解一下并行收集器和并发收集器。默认情况下，JDK5.0以前都是使用串行收集器，如果需要使用其他收集器需要在启动的是时候加入相应的参数。JDK5.0以后，JVM会根据当前系统的配置进行判断。 我们先了解一下什么是并行和并发？...
2018-11-13 13:49:40
188
原创 spring cache redis 高并发下返回null
在使用springdata操作缓存中，当访问量比较大时，有可能返回null导致数据不准确，发生几率在0.01%或以下，虽然已经低于压测标准，但是还是会影响部分用户，经过一番筛查，发现原因如下：RedisCache 类中 有get方法，存在明显的逻辑错误 “先判断是否存在，再去get”，代码执行过程中总有时间差，如果这个时间过期，则 判定为存在，又取不到数据，所以发生了 本文所描述的情况/...
2018-11-08 15:47:56
2109
3
原创 redis集群与rabbitmq集群
互联网项目中，redis和mq几乎成标配，开源的rabbitmq更加受欢迎，以下记录下相关原理，哪天忘记了 来瞅一眼 redis集群指官方推荐集群方式，最少部署6个节点，会自动进行分片，副本集群。6个节点时，会分3个片，每个片一个副本。 为啥要分3个片呢？----redis集群采用的是哨兵模式，网上文章很多，我这一句话总结：哨兵负责主从之间报信 和选举（低于3个哨兵的投票没有...
2018-10-17 17:34:12
565
原创 Eureka集群配置
注册中心作为微服务最重要的一个环节，可靠性非常重要，今日特意研究了eureka的集群 本想通过IP注册，但发现IP注册，后台显示有问题，故还得通过host映射方式进行 1.构建eurekaserver，新建springboot项目 勾选 eurekaserver2.配置文件spring.application.name=eureka-servereureka.serve...
2018-09-05 15:57:59
996
原创 Mysql总结
一个web开发者，对mysql的了解必不可少，以下是个人以程序员角色对mysql的总结1.常用函数in 、exists、 not in 、not existsin是子查询，先遍历内部表，然后外部表来匹配exist 是函数查询，直接遍历外部表eg. select A.id from A where A.pid in (select B.id from B) 执行计划：...
2018-08-06 17:09:48
200
1
原创 SWAGGER快速使用指南
版本 作者 描述 日期 V1.0 yy 基于公司现有项目的swagger引入 2018-6-5 09:21:02 1 Swagger简介Swagger是一款让程序自动生成API的开发插件。样式、内容等均可定制化，一般采取默认即可2 Swagger引入Java项目通常基于spring，spring也提供了相关中间件和swa...
2018-06-05 12:01:12
2880
原创 Springboot命令启动介绍
Springboot命令启动介绍1简介Springboot是一款内置容器的开发框架，（又名弹性框架），通常和springcloud配合使用。大大减少架构、部署的时间，使开发人员能更专注业务功能开发。目前公司使用内置容器为tomcat8.12启动Springboot启动方式跟普通的jar包启动方式一致（调用main方法）执行命令为：java –jarxxx...
2018-05-31 16:42:28
8361
1
nexus-3.13.0-01.zip
2019-11-15
mybatis-generator中文注释
2018-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人