doctorq

路漫漫其修远兮

go-sql-driver/mysql 串数据的问题

问题描述 压测过程中,发现数据库中某个字段(json字符串)在解析的过程中提示,json字符串不符合json格式要求,增加日志打印后,发现json打印如下: 47^A0^MTCKSGroup1773 1540984132 1540984232^D6000^F749279^K52057485773^...

2018-12-04 15:07:37

阅读数:124

评论数:0

利用 group by 的 Loose Index Scan 优化 sql

参考文章:MySQL优化GROUP BY-松散索引扫描与紧凑索引扫描 背景 最近压测的时候发现有一条sql语句在查询到几w条数据的时候,查询耗时达到了1s左右,达到了我们线上设置的timeout,需要优化一下。 sql作用 该sql是为了从订单表(Order)查询哪些店铺、商圈有待指派的订单,...

2018-10-18 10:34:02

阅读数:74

评论数:0

database/sql query 超时设置

参考文章:Query 问题描述 接上文,mysql的同步访问问题解决后,继续压测,发现访问mysql的耗时逐渐增大,影响模型整体能力。我设置了readTimeout,没有任何反应,请求耗时还是会超过readTimeout所设置的值。因为: readTimeout只能限制连接数据读取...

2018-09-04 16:02:30

阅读数:161

评论数:0

database/sql: rows.Next panic from concurrent map writes

问题描述 我们最近用golang重构了以前c++的系统,在最后上线前的压测环节,我负责的模块偶现如下错误: [mysql] 2018/09/02 23:17:35 packets.go:72: read tcp xx:39151->xx:330...

2018-09-03 14:41:38

阅读数:154

评论数:0

grpc提供http访问方式

0x00 最近系统在从c++迁移到go,之前使用brpc,也需要转移到grpc,但是grpc提供的接口服务原生无法被http访问到,这对我们调试来说也很麻烦,所以需要让grpc跟brpc一样,http也能访问rpc接口 0x01 grpc-gateway项目: 该项目是在grpc外面加一层...

2018-05-30 11:56:28

阅读数:2083

评论数:1

C++操作mysql,串DB的问题追查

问题描述 kfc项目大联调时发现,原本访问loc_order库的操作,最后操作到了loc库中了,但是是偶尔操作到loc库,这个时候回报错,偶尔操作成功。最后发现一个配置出错,就是loc_order这个库在我们服务器中并不存在,但是我们的客户端应该在这种情况下是能够收到服务器的通知,表示db错误,...

2018-05-09 16:38:56

阅读数:155

评论数:0

Go语言开发环境搭建

由于准备将项目由c++切到go,这几天学习了go相关的知识。搭建了下开发环境 0x00 安装go后,验证go安装成功标志 $ go version go version go1.10.2 darwin/amd64 记得设置下GOPATH $ echo $GOPATH /U...

2018-05-04 16:13:25

阅读数:233

评论数:0

TesterHome第四届中国移动互联网测试开发大会 将于北京召开

由TesterHome社区主办的第四届·中国移动互联网测试开发大会(Mobile Testing Summit China,简称MTSC),将于 2018 年 7 月 13 日至 14 日在北京国际会议中心举办。历经三年积淀,MTSC测试大会已经成为业界享有盛誉的技术盛会,邀请国内外一线技术专...

2018-03-16 14:12:29

阅读数:502

评论数:0

c++内存泄漏实战

开始开发C++项目也有2个月了,从一开始写代码就绕不开内存泄漏这个点。找了个时间专门搞了个专项活动,从开始的几十个内存泄漏点到现在慢慢了有了点经验,现总结下。 检测工具 内存泄漏点实践 0x01 0x02 0x03 检测工具 我一般会用以下命令启动程序,然后把各个接口触发...

2018-01-11 10:31:56

阅读数:618

评论数:0

c++项目中引入xgboost静态库

参考文章 Using XGBOOST in c++ c++项目引入xgboost动态库 问题背景 xgboost项目官方没有提供c_api方式的编译以及引入教程,所以刚开始我们是用直接把项目源码引入到我们的项目中,非常麻烦。 刚开始我们以源码的方式导入到项目中,调用源代...

2018-01-08 16:27:45

阅读数:1796

评论数:0

Valgrind进行内存泄漏检测

valgrind 背景初次涉猎c++编码,被指针折腾的不行,所有为了防止代码写的不好,造成内存泄漏,上线前一定要检测下是否存在内存泄漏,这不用Valgrind试试。环境 gcc编译环境搭建完成 安装wget ftp://sourceware.org/pub/valgrind/valgrind-3....

2017-11-23 12:32:34

阅读数:576

评论数:0

Spark成长之路(13)-DataSet与DataFrame

Datasets and DataFrames 前言 源码 DataFrame Dataset 创建dataset 读取json串 RDD转换为Dataset 总结 DataFrame前言spark1.6中引入了DataSet和DataFrame的概念,然后Spark SQL的API也是基于这两个...

2017-08-25 13:45:02

阅读数:531

评论数:0

Spark成长之路(12)-Gradient Descent

机器学习理论之一

2017-08-02 11:39:11

阅读数:457

评论数:0

Spark成长之路(11)-ngram

ngram 简介N-gram代码object NGramExample extends SparkObject { def main(args: Array[String]): Unit = { val wordDataFrame = spark.createDataFrame(Seq(...

2017-07-25 17:24:19

阅读数:988

评论数:1

Spark成长之路(10)-CountVectorizer

CountVectorizer 简介用文档中单个单词出现的次数组成一个向量。代码object CountVectorizerExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builde...

2017-07-25 16:06:08

阅读数:503

评论数:0

Spark成长之路(9)-Word2Vec

word2vec 简介将文本映射到K维空间的向量值。代码object Word2VecExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().getOrCreate() ...

2017-07-25 15:56:15

阅读数:400

评论数:0

Spark成长之路(8)-TFIDF

TDIDF 简介 源码 输出简介文本特征提取算法,给某个文章归档某个类别时特别有用。源码object TfIdfExample { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().get...

2017-07-25 15:26:23

阅读数:419

评论数:0

Spark成长之路(7)-Hypothesis testing

Hypothesis testing 样例import org.apache.spark.ml.linalg.{Vector, Vectors} import org.apache.spark.ml.stat.ChiSquareTest import org.apache.spark.sql.Sp...

2017-07-21 11:55:28

阅读数:512

评论数:0

Spark成长之路(6)-Correlation

spark ml spark准备彻底支持DataFrame特性,所以重新了ml的api,原先的以RDD为基础的api都放在了mllib中,但是都是维护阶段,推荐使用ml下的api。相关性有2种相关性,皮尔森积矩相关系数和斯皮尔曼等级相关,具体原理请自行搜索,主要是判断两个向量的关联性。样例impo...

2017-07-21 11:36:59

阅读数:577

评论数:0

Spark成长之路(5)-消息队列

参考文章:Spark分布式消息发送流程 监听器模式 volatile 因为之前被这个消息队列坑过(stage夯住原因分析),所以现在研究源码,先从它下手,解答一下我这么久的疑惑。继承关系ListenerBus->SparkListenerBus->LiveListenerB...

2017-07-07 11:16:02

阅读数:628

评论数:0

提示
确定要删除当前文章?
取消 删除