- 博客(264)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 windows 安装gcc
一.下载已编译好的包MinGW-w64 - for 32 and 64 bit Windows - Browse /mingw-w64/mingw-w64-snapshot at SourceForge.net二.选择x86_64-posix-seh 下载三.加压缩到 c:/mingw_64四.配置windows %PATH% 环境变量
2021-09-09 21:08:47
643
1
原创 etcd/clientv3 循环引用问题
一.问题描述使用 etcd/clientv3 ，import 不成功，报循环引用"github.com/coreos/etcd/clientv3""google.golang.org/grpc/grpclog"二.问题解决用下面的go.modmodule tttgo 1.14require ( github.com/coreos/bbolt v1.3.4 // indirect github.com/coreos/etcd v3.3.25+incompati..
2021-04-25 14:31:08
491
1
原创 string转[]byte 高效的方式
一.问题描述今天看gin代码，发现string转[]byte，从1.6开始，做了优化。比[]byte(string) string([]byte) 快6-7倍// StringToBytes converts string to byte slice without a memory allocation.func StringToBytes(s string) (b []byte) { sh := *(*reflect.StringHeader)(unsafe.Pointer(&.
2021-04-20 20:54:44
982
原创 编译etcd报错
一.问题描述编译etcd报错，依赖的 google.golang.org/grpc 没有naming。module google.golang.org/grpc@latest found (v1.36.1), but does not contain package google.golang.org二.问题解决直接修改go.mod，指定 grpc版本为 v1.29.1google.golang.org/grpc v1.29.1三.重建vendor删除vendor目录;再执行 .
2021-04-06 12:34:17
1579
原创 非要保证数据库和缓存数据强一致该怎么办
如果要保证redis 中数据和mysql 强一致怎么办今天在思考这个问题。可以这么做，redis中缓存中，添加 status 和updateTime 。比如user_cache:{status:0,updateTime:2021-0405-22:25:29:30}其中 status 只能是0 或者1， 0表示 已更新完，1表示 正在更新中。所有请求，读缓存后，都要判断这个缓存中的数据是否有效，是否是正在更新中。如果正在更新中，则都在那儿等。(可以参考穿透的逻辑)所以，更新mysql的
2021-04-05 22:38:49
213
原创 行业内全链路压测的发展
近期在和业内学习交流，加上自己思考，抽象梳理总结下，行业内全链路压测的发展，分为以下几个阶段1.有的问题。2013年左右阿里为解决服务稳定性问题，做链路压测，做的全链路压测系统。其它公司后续也跟进。这个阶段主要解决 有的问题，就是要先有一个全链路压测系统。这是第一阶段。2.自助化使用。互联网行业敏捷开发，多次迭代，多次部署，环境老变，需要测试常态化。全链路压测变成常态化。这就需要测试配合开发，使用全链路压测系统，做压测，这样占用大量测试资源人力时间。所以通过实现全链路压测系统，自助化、自动化部署，使
2020-10-19 16:45:08
326
1
原创 有趣的几个分布式系统一致性特性
一.问题描述最近思考了下，在分布式系统的一致性方面，有几个系统很有意思。一致性包括读写两方面。读的一致性，和写的一致性，在存储系统中体现的不一样。因为在使用场景中，因为场景需要，各个分布式系统，实现的结果/支持的特性也不一样。比如数据库、消息系统、缓存、搜索系统、文件系统、注册服务发现系统。这些系统因为要支持其对应的场景，实现的结果也不一样。二.举例子举例子，就举几个有趣的例子。1.consul的一致性读和kafka的一致性写。很有趣，consul的读，get一个key fro.
2020-08-07 12:09:24
312
原创 分布式调度，分布式事务，分布式执行计划
一.问题描述最近在做分布式调度系统，用于把全网流量，在两个机房之间切换，切换时间控制在5分钟内。在做调度系统中，需要涉及到dns,高防，接入层集群，应用层集群，中间层集群，消息系统集群，数据库集群，缓存集群，ES集群，CICD，监控等等。为了保证切流成功。采用两个策略：1.各层级切流各自独立，互不干扰。2.统一调度集中统一。现在就讲讲统一调度。统一调度，需要再发指令调度下级个层级集群完成流量切换。有一个问题，如何做到高效、快速、精准、一致。最好的结果是各层级切流都成功，或都失败。..
2020-07-14 11:51:38
772
原创 kudu性能优化
一.背景一个实时业务，数据流 app -> nginx ->lua ->kafka -> spark streaming ->kudu ->zepplin 。打开zepplin，实时数据出不来。看不到。二.问题分析-结合链路1.近期流量暴涨，单个用户的使用时长，由1-1.5h增加到 8-10h。2.大量数据进入kakfa，得不到spa...
2020-03-19 13:24:20
4907
原创 沟通的四个层次
沟通分为四个层次，层次越深，效果越好。四个层次分别为理解、认同、支持、一起干。一.理解如果能够让对方理解。这是最基本的沟通效果。如果对方没理解，沟通就是失败的。二.认同如果别人理解了，更进一步让别人认同，那么就更好了。三.支持如果认同之后，能取得别人的支持。那就更好了。对于后续工作/项目/任务，更容易成功。因为获得了别人的支持。力量更强大了。四.一起干让别人支持后...
2020-02-10 15:25:04
7202
原创 python 操作2个list，可变，list push和append 操作的是数组地址
[email protected]# pythonPython 2.6.6 (r266:84292, Aug 18 2016, 15:13:37)[GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] on linux2Type "help", "copyright", "credits" or "license" for more information.>>...
2020-01-06 14:05:43
2869
原创 OKR 和 KPI
OKR和KPI 对比一.定义1.OKR Objectives and Key Results，目标 和 关键 结果。2.KPI Key Performance Indicator ,关键的 效能 指标。二.局限性1. OKR 鼓励创新、勇于挑战。1.1 OKR强调 把 目标 略微设置高一些，以鼓励 团队 勇于通过努力，达到 更高目标。1.2 如果目标是满分10...
2019-04-27 17:51:31
1588
转载 think_in_java 14章 类字面常量
1. Class类的学习，Class.forName()和 类字面常量XXX.class 的比较 后者效率更高，建议使用后者。生成对class对象的引用，后者编译器会受到检查，所以更高效。类字面常量还可以用于接口，数组，以及基本数据类型2.Class引用指向某个class对象，他可以制造类的实例，并包含这个类的所有方法代码，还包含类的静态成员，Class引用标识的，即是 它所指向...
2019-03-27 14:41:52
232
原创 mysql8.0-mgr 功能限制
18.8.2 Group Replication LimitationsThe following known limitations exist for Group Replication. Note that the limitations and issues described for multi-primary mode groups can also apply in single...
2018-12-15 09:52:47
1263
转载 5种常用的相关分析方法
from: http://bluewhale.cc/2016-06-30/analysis-of-correlation.html相关分析（Analysis of Correlation）是网站分析中经常使用的分析方法之一。通过对不同特征或数据间的关系进行分析，发现业务运营中的关键影响及驱动因素。并对业务的发展进行预测。本篇文章将介绍5种常用的分析方法。在开始介绍相关分析之前，需要特别说明的是...
2018-09-09 15:32:50
176164
3
转载 An In-Depth Look at the HBase Architecture
from:https://mapr.com/blog/in-depth-look-hbase-architecture/In this blog post, I’ll give you an in-depth look at the HBase architecture and its main benefits over NoSQL data store solutions. Be sure...
2018-08-20 20:37:48
611
原创 dbproxy开发技术栈
dbproxy 开发技术栈1.tcp 协议2.unix 环境 编程3.Linux 多线程编程4.Linux 多进程编程5.libevent6.mysql client/server 协议7.makefile 、gcc、 gdb8.glib 、tcmalloc、 jemalloc9.valgrind 、perf、 sysbench、 mysqlslap、t
2018-01-18 12:13:00
509
原创 跨职能部门项目领导、管理与合作
团队管理培训《跨职能部门项目领导、管理与合作》一.什么是项目领导1.给项目制定方向性的人。2.为项目成败负责。3.项目的推动和实施人。二.如何领导项目1.精准提取项目需求目标。2.制定清晰地项目目标。3.发起项目。4.有序按阶段开展项目工作。5.项目收尾。三.项目立项阶段如何领导1.项目开始前的分析1.1深入分析项目成本、收益、时机。
2017-09-12 18:35:55
1660
原创 领导者如何打断下属工作计划
一.前言it行业，不管是矩阵型技术产品团队、职能型技术产品团队，还是敏捷型技术产品团队。都会遇到一个问题，管理者会紧急的打断下属之前的工作计划，让下属干管理者认为重要的工作。二.问题举例土老三，经过多年努力，终于当上了一个领导。他有若干个个下属，其中一个叫王老五的。土老三，在2周前，给王老五安排，让王老五先后做，1，2，3，4 共四件事。毫无疑问这些事应该是根据市场运营需要，按照
2017-09-02 22:46:38
907
1
原创 (HY000/2003): Can't connect to MySQL server on '192.168.2.98' (99)
(HY000/2003): Can't connect to MySQL server on '192.168.2.98' (99)
2016-10-13 16:36:02
3374
原创 python连mysql
一.python连mysql安装 MySQLdbwget https://pypi.python.org/packages/d3/16/21cf5dc6974280197e42d57bf7d372380562ec69aef9bb796b5e2dbbed6e/setuptools-20.10.1.tar.gz#md5=cc3f063d05e3bff4d3fa07a5a1017c3btar z
2016-05-03 17:40:27
760
1
转载 Google三驾马车论文
from http://blog.bizcloudsoft.com/?p=292Google的著名的三篇大数据的论文，分别讲述GFS、MapReduce、BigTable，取自网上，排版整理完成，以供参考。下载：Google File System中文版Google MapReduce中文版Google Bigtable中文版
2016-04-30 22:00:10
9114
原创 flask+pypy+setuptools+redis+MySQLdb安装
一.问题提出python的flask框架，简单、轻量，做web后端很实用。但是原生的python，执行效率并不高。这里不深究，感兴趣可以做性能对比测试。如果有业务需要，每秒大于 10k的并发，使用原生的python很占资源。(这也要看具体业务)二.问题解决python生态中，有很多解释器/编译器，能够提升python代码的执行效率。比如JPython,CPython,Pypy等。整体而言，Pypy可以直接兼容python。Pypy使用JIT技术。(没错，类似Php 7的编译执行技术，Php 7 参
2016-04-27 20:34:52
3011
1
原创 nginx: [alert] version 1.4.0 of nginx.pm is required, but 1.2.0 was found
nginx: [alert] version 1.4.0 of nginx.pm is required, but 1.2.0 was found
2016-03-06 16:05:03
5843
2
原创 创业的三个关键阶段及重要性
创业的三个阶段第一个阶段：产品定位阶段这个阶段特点，产品做快速定位，不断试错，验证产品。确保，产品在当下、未来符合市场需求。验证生产者与消费者使用产品能够达到双赢。第二个阶段：迅速占领市场阶段这个阶段特点，需要公司/产品迅速占领市场，迅速扩大与竞争对手的差距/优势。第三个阶段：能够盈利，不断增长净利润这个阶段特点，产品已经开始盈利，实现利润率及销售额最大化。ps，作为领导者，如果无法想清楚或不知道这三个阶段，成功的概率会很低，当然也是不合格的。
2016-03-06 14:48:53
2113
原创 rabbitmq publisher(生产者)注意的几个点
一.rabbitmq publisher(生产者)注意的几个点1.深刻理解异步模式1.1默认情况，publisher->server，server不会将publisher的请求的执行情况，返回给publisher。换句话说，默认，publisher只知道执行了生产消息的动作，不知道server是否已成功存储msg，更不知道msg是否已被consumer消费。1.2如果，使用confirm模式,publisher->server，server只会告知publisher，是否接收到了请求。publishe
2016-01-19 14:56:55
10274
1
转载 单机磁盘故障引发RabbitMQ镜像队列数据丢失
rabbitmq的几个注意的问题1.rabbitmq 3.4.0及以上的版本，集群镜像队列才不会丢数据。2.rabbitmq 的publish，client协议，需要注意，首先，默认，server不会发送ack给client。其次confirm模式，只能保证msg发到了server，不保证msg找到了对应的queue，并存储到queue。再其次，如果配置mandatory，server返回给client,可以确定msg是否找到了对应的queue。最后，RabbitMQ 3.0.0以后的版本中去掉了imm
2016-01-19 13:49:38
2320
转载 如何定位死循环或高CPU使用率(linux)
对CPU使用率过高的进程的所有线程进行排序ps H -e -o pid,tid,pcpu,cmd --sort=pcpu |grep xxx
2015-12-22 20:44:54
3295
原创 client sent invalid header line: "X-Hts_user: true" while reading client request headers
一.问题描述近期，打开nginx error log debug模式下，发现报 client sent invalid header line: "X-Hts_user: true" while reading client request headers。查了下 nginx ，对 header name中包含下划线的，则会忽略掉这个请求。二.调2个参数在http域下
2015-11-07 17:01:09
5235
原创 fio误操作与恢复服务
近期拿测试机，fio测iops，一个误操作，之后，分区不能使用，各种异常，之后，做一系列分析、处理、恢复1，fio -filename=/dev/sdb2 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=50G -numjobs=10 -runtime=1000 -group_reporting
2015-10-28 18:48:08
5678
转载 淘宝内部分享：怎么跳出MySQL的10个大坑
from: http://www.csdn.net/article/2015-01-16/2823591编者按：淘宝自从2010开始规模使用MySQL，替换了之前商品、交易、用户等原基于IOE方案的核心数据库，目前已部署数千台规模。同时和Oracle, Percona, Mariadb等上游厂商有良好合作，共向上游提交20多个Patch。目前淘宝核心系统研发部数据库组，根据淘宝的业务需求，改进
2015-10-25 18:29:38
2544
转载 mysql5.7 SYS Schema 详情
mysql 5.7 提供 SYS Schema,从SYS database中，可以获取mem page、io 、latch/mutex/lock等各种性能数据，方便做peformance turning 和 troubleshooting。比如可以方便获取2个sql发生 lock block等信息。越来越像oracle了。
2015-10-23 10:17:49
4586
转载 The MySQL SYS Schema in MySQL 5.7.7
from: http://mysqlserverteam.com/the-mysql-sys-schema-in-mysql-5-7-7/mysql 5.7 提供一个 SYS Schema,从这里面可以查 内存page、io、lock、latency等各种状态信息，为性能调优提供重要的依据。New in MySQL 5.7.7, the MySQL sys s
2015-10-23 09:50:28
1741
转载 What’s New in MySQL 5.7? (Generally Available)
from: https://www.oracle.com/corporate/pressrelease/mysql-5-7-ga-101915.html#rdWe proudly announce General Availability (GA) of MySQL 5.7. Download now!MySQL 5.7.9 is an extremely exciting new
2015-10-23 09:35:08
1514
原创 php internal（php体系结构和原理）
一.前言-后端如何处理一条index.php动态请求。很多公司用lnmp环境作为基础软件环境，用php能做快速开发。下面简单描述下，后端是如何处理一个从浏览器发起的 http://www.abcdxxx.com/index.php的请求的。browser->nginx 通过http协议，nginx 接收浏览器发的动态请求。browser->nginx->phpcgi，nginx把接收到
2015-08-13 22:37:54
2438
转载 what-to-tune-in-mysql-56-after-installation.html
安装mysql 5.6之后，需要做哪些参数调整from: https://blogs.oracle.com/MySQL/entry/tuning_mysql_5_6_forWhen we are hired for a MySQL performance audit, we are expected to review the MySQL configuration and to
2015-08-11 19:06:05
766
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人