wangyueshu-CSDN博客

原创 QA测试人员面试或述职的时候该怎么讲解自己的项目

业务测试如何向面试官或述职评委等非项目相关人员讲解测试工作。解答“业务逻辑不知道该介绍到什么程度”、“介绍测试思路时，感觉说来说去还是业务逻辑”“、追求技术含量，是不是自动化或接口测试才更高级？”、“测试工作大同小异，也说不出来什么特别的”......

2022-06-08 18:16:29 572 1

假设Git地址如下：旧Git地址：https://XXX/XX/old.git新Git地址：https://XXX/XX/new.git那么对应的Wiki地址就是：旧Git Wiki地址：https://XXX/XX/old.wiki.git新Git Wiki地址：https://XXX/XX/new.wiki.git迁移步骤如下：1. 将旧Git地址的Wiki clone到本地git clone https://XXX/XX/old.wiki.git ./本地文件名1

2022-05-23 15:05:06 848

原创 Mac M1芯片本 Java环境（intelliJ Idea+JDK）安装及git识别bad CPU type in executable:xxx等兼容问题解决

用了快七年的Mac电池鼓包退休，新Mac是M1芯片，软件安装遇到各种兼容问题，后来才意识到是芯片兼容问题。最后用的版本是：intelliJ Idea ultimate 2020.3 或 community 2020.1 + 1.8 jdk（ARM64版本）+ resetta兼容一. Idealliji安装官网下载，Idealliji ultimate 2020.3 或 community 2020.1 这俩都能用，只不过前者需要破解；安装的时候注意选apple silicon...

2022-04-23 15:17:39 9399

原创互联网服务端测试之RPC接口测试

开篇碎碎念：18年的时候写过一篇《互联网服务端测试是个啥（入门科普）》（指路https://blog.csdn.net/wangyueshu/article/details/81944250），主要面向的是那些没有接触过服务端测试，尤其是已有端上测试经验、而面对服务端测试时急需转换测试思维的那部分读者。3年过去了，转一圈再回来做服务端测试时，内容也有了扩展。原篇的接口更多的是指代HTTP接口，服务也更多的指代数据服务。而随着算法模型应用的逐渐深入，服务扩展到了模型、策...

2021-08-19 16:44:15 3901 3

原创 rm -rf /* 或/bin/目录被删除补救 /bin/sh: bad interpreter: No such file or directory

一、踩坑过程：着急的同学可以直接跳到第二部分“解决办法”。对，是我。今天的我不配自称一个工作多年的互联网人（大哭）。其实早知道rm -rf /*这个命令的毁灭性，所以以往用rm -rf的时候都很谨慎，今天手比脑子快了。本想删除代码路径下的代码重新拉取，结果命令里多个斜杠。。。在我1s内就意识到问题的严重性并立即执行ctrl+c的时候还是晚了。先是发现基本的ls等命令用不了，修改了环境变量$PATH（命令export PATH=$PATH:/usr/local/sbin:/usr/local/

2021-04-25 14:40:31 1128 2

原创 NoClassDefFoundError排查及解决java.lang.NoClassDefFoundError:org/slf4j/LoggerFactory

排查这个问题时，maven项目不止这一个报错，对于问题排查制造了很多麻烦。下面介绍的是NoClassDefFoundError排查通用的排查方法，其中以java.lang.NoClassDefFoundError:org/slf4j/LoggerFactory为例进行排查分析。NoClassDefFoundError这个报错表示class找不到，可能的原因有三种：1. 依赖的Jar没引入maven2. Jar包冲突3. 打包build问题。先定位是IDE中运行报错还是打包之后的运..

2021-03-23 16:51:08 16798

原创 Flink taskmanager因节点宕机失效或进程异常导致的报警处理

flink的taskmanager的端口占用情况是动态分配的，因此在promethues的监控targets配置也采用了脚本动态拉取更新：1. 先连接zookeeper，查看flinkNodes的注册信息，获取ip节点信息2. 登录节点，通过jps获取活跃taskmanager的端口号。3. 生成flink的targets监控目标配置文件。于是：处理节点宕机失效的taskmanager报警：1. 登录zookeeper服务器，进入zookeeper安装目录，执行 sh zkCl.

2021-02-03 17:09:20 1674

原创 Spring-boot-Java工程添加prometheus监控（actuator+micrometer和simpleclient+micrometer两种方案）

本文会分为四部分，目录指路：第一部分：prometheus监控的基础知识或理解第二部分：Java工程中exporter监控代码实现-actuator+micrometer第三部分：Java工程中exporter监控代码实现-simpleclient+micrometer第四部分：低版本2.0以下Sprint-boot Jar包冲突的各种报错一、背景接手了一套搭建好的pushgateway+prometheus+alertmanager+grafana的监控系统，理论和经验基础都.

2021-02-01 14:41:00 4892 5

原创 ZooKeeper&Flink&Hadoop集群单个节点服务器挂掉之后的恢复

背景：小项目用到的服务器老旧，其中一台周末因为总线等硬件原因挂掉了，各种监控报警，运维尝试恢复失败后直接建议更新设备，于是需要服务迁移和恢复。其中ZooKeeper&Flink&Hadoop集群因为单节点连接失败也开始罢工了。组里的架构加运维大牛走了，小白尝试恢复集群服务。所以本文只涉及简单的服务恢复和报错处理。Tips：要学会利用日志、日志、日志排查问题。一、ZooKeeper最初尝试恢复的实际是Flink，恢复失败后发现其日志中关于zooKeeper的报错（.

2021-01-14 11:56:35 2234 2

原创 NLP文本分类入门学习及TextCnn实践笔记——算法实现（四）

应该是笔记的终篇了。前三篇分别介绍了文本分类的基本处理流程（补了张图在下面）、中文文本分类的代码实现以及关于模型训练的一些经验总结。这篇来记录关于TextCnn算法实现的原理和运算流程。一、基本概念卷积：矩阵卷积运算，比较典型的应用场景是图片处理。被卷积的对象是待提取特征的文本或图片的数据表示，也就是矩阵。卷积核filter：是卷积的另外一个操作参数，一般是一个n*m的矩阵，在TextCnn中因为词向量维度上不需要横向卷积，因此m等于词向量长度，例如m=300，n则类似n-gram中的窗口，

2020-11-10 15:29:58 591

原创 NLP文本分类入门学习及TextCnn实践笔记——模型训练（三）

这篇记模型训练。距离第一篇已过去一个月。从学习到正式启动模型训练，花了两周。模型训练召回率和准确率达到上线标准又花了两三周。训练及测试样本评估的精确率都是97%、98%，结果一到线上实验，结果惨不忍睹，才明白模型训练不是那么简单的事情。渐渐摸索出了一些门道，最后线上精确率达到95%以上。我只在一个二分类的文本分类场景成功训练并上线了模型，且除了词嵌入纬度embedding_dim超参调整外，不涉及其它的超参调整，因此下文将主要从个人的模型训练经验出发，介绍模型训练的基本思路及调优关键点。在其它的

2020-07-03 17:33:29 1279

原创 NLP文本分类入门学习及TextCnn实践笔记——代码实现（二）

本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。代码基于开源代码https://github.com/dennybritz/cnn-text-classification-tf建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog：NLP文本分类入门学习及TextCnn实践笔记（一）https://blog.csdn.net/wangyueshu/article/details/106493048参考的大神b...

2020-07-02 18:16:15 782

原创解决tensorflow+gunicorn+flask的flag异常 UnrecognizedFlagError: Unknown command line flag

背景：TextCnn模型用tensorflow+flask+gunicorn搭建模型预测并发API生产环境，模型调用抛异常。报错代码：#模型代码处：# Misc Parameterstf.flags.DEFINE_boolean("allow_soft_placement", True, "Allow device soft device placement")tf.flags.DEFINE_boolean("log_device_placement", False, "Log place

2020-06-30 11:55:13 1355 7

原创 NLP文本分类入门学习及TextCnn实践笔记——基础知识学习及理解（一）

碎碎念：之前有一些机器学习相关的概念基础，但从未实践过，看的知识也不系统。这次刚好工作中有应用需求，就以NLP的文本分类为切入点，进行相关知识的学习和模型实践。当前进展：研究了两周，完成文本预处理、word embedding、TextCnn模型训练、API封装等代码工作，模型效果调优、验证中。计划以笔记的形式记录几篇博客。首篇主要是个人对NLP及文本分类的理解、一些基础知识的学习及参考资料记录。下一篇计划关于TextCnn算法学习和代码实践等。本次个人学...

2020-06-02 16:19:22 1616

原创 pip install报错 HTTPSConnectionPool(host='files.pythonhosted.org', port=443)连接超时

问题描述：在pip install安装代码库的时候，提示超时，报错信息如下。Could not install packages due to an EnvironmentError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Max retries exceeded with url: /packages/...

2020-03-11 17:56:33 2996 1

原创 docker上java进程假死(线程blocked),org.apache.logging.log4j.core.layout.TextEncoderHelper.copyDataToDesti...

问题描述：docker部署后，容器在，也能正常通过docker exec -itCONTAINER ID /bin/bash 进去。但是工程并没有工作。打印堆栈信息如下：问题原因：docker版本太低了，触发了log4j的死锁问题。我们用的1.6.*的版本。。另外一台1.11.*的就没有问题。参考：https://blog.csdn.net/weixin_338...

2019-10-11 19:43:16 985

原创 docker build失败error creating overlay mount to /var/lib/docker/overlay2/XX/merged: invalid argument

背景：服务混跑的情况，任何中间件或配置的变更，都要检查是否影响了现有服务。服务器上原来跑的docker服务。同事在上面装mysql，导数据，各种安装插件，不知道怎么docker被卸载了。。。重装之后build镜像的时候提示：error creating overlay mount to /var/lib/docker/overlay2/XX/merged: invalid argument...

2019-08-28 16:17:47 10359

原创小日志大问题——Logger的错误使用导致的JAVA进程CPU占用过高问题

问题背景：java工程和mysql混跑的一台服务器。最近的mysql的使用运算量比较大，然后就出现了查询运算卡死的情况。最开始的排查方向放到了mysql上，结果始终找不到原因。然后考虑是否是因为资源占用的问题，Top一看，java工程占用了160%以上的cpu，于是开始排查是什么原因导致的java这么大的cpu占用。最后定位是日志过大导致的，日志级别从debug改成了info，减少...

2019-08-27 15:26:36 3349

原创 Maven+SpringBoot+Java 搭建restful 接口API框架到docker部署及遇到的问题记录

背景：三年前用Spring MVC搭过api服务。最近组内的其它工程是用的SpringBoot，觉得比较好用，于是这次选用的是Maven+SpringBoot+Java，踩坑无数，努力改掉技术上不求甚解的毛病，整理如下。maven理解：maven就是一种强大的代码资源整合器，是jar包的管理者。主要包含三个部分自定义（groupId、artifactId、version、propert...

2019-08-20 18:18:26 1069 1

原创 Python 格林威治时间格式 Wed Jul 10 20:00:09 +0800 2019 转换为标准时间格式年月日时分秒%Y-%m-%d %H:%M:%S

需求：将excel中批量的格林威治时间格式字符串 Wed Jul 10 20:00:09 +0800 2019 转换为好理解的标准时间格式 2019-07-10 20:00:09知识点：strptime:将一定时间格式的字符串转换成时间类型对象strftime:将时间类型对象转换为特定格式字符串输出具体的时间格式字母表示，请参考：https://blog.csdn.net/q...

2019-07-31 11:09:43 6341 4

原创 JAVACPU占用过高、内存泄漏问题排查——HttpClient占用过多buffer

问题起因：java工程消费的内容延迟严重，发现负责消费的dispatcher 进程阻塞，且占用的CPU%很高。开始按照https://www.cnblogs.com/paul8339/p/7464206.html文中提到的方法排查。一、追查重点：如果java进程在docker下执行，需要进入docker里边执行下面的步骤，否则会报错：Unable to open sock...

2019-07-30 12:10:14 6331 3

原创 PYTLP模型安装及使用（linux+python3）

记一次曲折的使用经历。。1. 需要运行在python3下面，先升级服务器的python版本找一个下载目录wgethttps://www.python.org/ftp/python/3.8.0/Python-3.8.0a1.tar.xz解压缩tar xvfPython-3.8.0a1.tar.xz创建安装目录mkdir /usr/local/python3进入...

2019-07-17 15:42:18 2183

原创 maven工程报错：could not autowire. No beans ofXXX

线上运行的代码，本地工程中报错：could not autowire. No beans ofXXX最开始以为是ide配置的问题，然后又怀疑pom引入依赖的问题（近了一点，归根结底是在maven工程的组织上）。实际上是因为：工程pom文件有cannot reconnect报错解决办法：hosts文件中添加127.0.0.1 localhost（前两天不小心把host文件中的这一行注...

2019-06-21 17:00:01 896

原创 git reset --hard后的本地代码找回（commit和没有commit但add了两种情况）

作为一个git的小白，今天踩了个大坑（大哭），踩坑过程如下，想看解决办法的直接跳过，看第二部分：踩坑过程： 1. 程序调试通过，开开心心commit，中间提示有代码检查错误，三个选项commit、concel、view（intellij idea编译器），点了view（划重点：因为选择的查看view，因此并没有commit成功。坑就是这时候挖的）。 ...

2019-06-05 19:21:36 23447 48

原创 python小白日常问题解决记录

1. 编码问题（这两天unicode真是令我头大）pymysql.connect时提示“UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 29: ordinal not in range(128)”解决办法：文件头部添加：# coding=utf8import sysreload(sy...

2019-03-29 16:09:17 333

原创 php hash_hmac sha1加密sign签名的python对照实现

php开发的API，采用TAuth2的sign签名认证，签名语句为： urlencode(base64_encode(hex2bin(hash_hmac('sha1', $param, $tauth_token_secret))));接口自动化框架是python的，因此需要在python中生成同样的签名以通过鉴权调用接口。在网上查的下面的方法，怎么都不对，一层层的函数值对比...

2019-01-24 16:08:40 1343

原创全方位的质量保证（一）——创业初期或新团队新项目的质量保证

有几个各自创业的前同事（巧的是来咨询的都不是测试人员），发来消息咨询质量把控的问题：“我们产品迭代了一年了，上线还总出问题，产品质量问题总不收敛，怎么办？”“我们的产品跟微博类似，上线之前该回归什么功能呢？” 可见，靠谱的测试、全方位的质量保证不仅是测试自身所求，也是整个项目团队的诉求和困惑点。借此契机，结合本人在公司内部分享的测试方法，就再讲...

2018-11-13 17:31:50 573

原创互联网服务端测试是个啥（入门科普）

互联网服务端测试是个啥（入门科普）微博：论路痴的自我修养啥是服务端？一般所说的服务端是指为用户在APP或PC使用的互联网功能提供数据服务的背后的一切（你没看错，是一切）。移动互联网时代，服务端的概念更加清晰、明确。在PC时代，大家都是浏览器浏览各种Web页，前后端分离的概念相对模糊，反正...

2018-08-22 15:00:48 18034 9

原创 nginx+php环境常见问题排查

1. 测试机环境部署后页面加载不全，log日志提示“Yar_Concurrent_Client::loop(): select timeout 10ms...”测试环境配置及网络情况差，增大php-fpm配置文件中超时时间。例如，将php_admin_value[yar.timeout]从10改成100002. 502 或500的，提示connect() failed (111:conne

2017-11-22 18:21:24 658

原创 Docker nginx+php+memcache安装遇到的几个小问题

首先记录下安装步骤，然后介绍遇到的问题及解决办法1. Docker安装 yum install docker安装完成后，使用下面的命令来启动docker服务，并将其设置为开机启动：# service docker start# chkconfig docker on2. Load生产环境的docker镜像 docker load -i a.tar

2017-10-27 17:30:47 1973 2

原创 WebUI自动化 selenium+testng+java环境搭建及问题汇总（一）

搭建WebUI自动化环境1. 安装Java环境：eclipse官网下载eclipse.org，用IBM的镜像下载。安装的时候可能会存在jdk版本不够等问题，下载、补安装就好。2. 安装testngeclipse－帮助－install new software，在弹出窗口中的“Work with”中输入地址：http://beust.com/eclipsewind

2017-10-12 16:08:38 559

原创 php smarty web服务开发问题汇总

smarty框架量级轻、上手快，模板和后端分离，对于开发小的工具级别的web服务很适合。因为做的工具很简单，代码主要包含tpl的模板文件和js和php文件，index.tpl作为入口文件，tpl文件中引用js文件响应用户操作，js文件调用后端php服务处理用户的表单提交。下面罗列一下当时遇到的一些问题。1. 模版中通过onclick事件触发js方法。调用失败，提示方法undefin

2017-10-12 14:38:28 267

原创 SpringMVC+tomcat json接口开发，IDE IntelliJ idea遇到的问题汇总

SpringMVC+tomcat json接口开发，IDE IntelliJ idea遇到的问题汇总。是遇到的问题的汇总及解决办法。想学习SpringMVC的具体介绍可以查看文中的参考文章，写得很好。

2017-09-18 18:03:09 951

wangyueshu的博客