自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(38)
  • 收藏
  • 关注

原创 springboot service测试报错

单独测试dao正常,测试service报错org.apache.ibatis.binding.BindingException:Invalidboundstatement(notfound):com.sendcloud.marketing.mapper.MailingListMapper.findxxx应该是MailingListMapper.xml没有编译到项目,pom文件中添加<build><resources>...

2020-11-16 18:22:18 5

原创 docker镜像加速

您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://j32y31nz.mirror.aliyuncs.com"]}EOFsudo systemctl daemon-reloadsudo systemctl restart docker...

2020-07-29 21:45:01 31

原创 python飞机游戏 练习下对象编程还是不错的

pip install pygame虽然pygame被淘汰的东东,但是学习下面向对象编程,还是不错的一、启动类import pygameimport pygame.midiimport pygame.localsfrom games.plane import Planefrom games.enemy_plane import EnemyPlaneimport timeclass MainFrame(): def __init__(self,win_width

2020-07-19 00:07:10 32

原创 hbase报java.lang.IllegalArgumentException: No columns to insert

{"totalColumns":0,"families":{},"row":"#bda3e8a7b31e2f227"}302java.lang.IllegalArgumentException: No columns to insert{"totalColumns":1,"families":{"info":[{"timestamp":9223372036854775807,"tag":[],"qualifier":"invalid_count","vlen":1}]},"row":"#7c9160

2020-07-10 14:18:53 49

原创 hive编写自定义UDF函数

需求:hive表email_status_result中有个邮箱(receiver)字段,查询结果需要脱敏展示,表结构如下CREATE TABLE email_status_result(receiver STRING,email_status STRING,status_count INT)COMMENT 'email_status aggregation data'ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','LINES TERMINATE.

2020-07-07 15:22:56 28

原创 通过tcpdump,wireshark抓包分析包解决实际工作中遇到问题

最近公司某应用一直报同一个错误,通过日志只能定位某个请求参数报错,不能定位到哪个用户,日志如下:解决方法1.在应用服务器上通过tcpdump抓包tcpdump -s 0 tcp port 8080 -w http.cap2.通过wireshark分析http.cap1.找到http协议相关500错误包2.双击request in frame可以获得smsuser 其他相关参数...

2020-07-06 16:10:08 55

原创 springboot2.x整合mybatis-plus多数据源、mongodb,redis

1.redis配置package com.framework.api.config;import org.springframework.boot.context.properties.ConfigurationProperties;import org.springframework.stereotype.Component;@Component@ConfigurationProperties(prefix = "redis")public class RedisConfigPrope

2020-07-05 17:48:52 366

原创 python3.7爬虫

1.from urllib importrequesturl='https://www.baidu.com/s?'kw={'wd':'邮件'}url=url+parse.urlencode(kw)resp=request.urlopen(url)print(resp.read().decode());2.

2020-07-02 23:20:51 520

原创 springboot2.2.8 pom.xml文件第一行报Unknown Error

springboot2.2.8 搭建环境,eclipse 中pom.xml显示错误解决办法:在<properties>标签内加入<maven-jar-plugin.version>3.1.1</maven-jar-plugin.version>然后选择项目右键->maven->update project

2020-06-28 14:45:38 102

原创 springboot集成高版本mongodb3.11.2

升级了springboot2.2.8,新的mondob3.11.2驱动好多包标记为删除 如:MongoClientFactoryBean、SimpleMongoDbFactory基于3.11.2集成,重新自定义配置 代码如下f:package com.sendcloud.api.config;import org.springframework.boot.context.properties.ConfigurationProperties;import org.springfr.

2020-06-23 18:17:36 441

原创 linux下删除乱码文件

文件名乱码,rm删除不掉该文件,如下-rw-r--r-- 1 root root 0 Jun 23 14:39 ???????KO{ZC?5??可以通过文件的inode删除该文件,通过命令ls -li查看正在上传…重新上传取消有时, 你会有这样的困惑, 删除某个文件删不了。 这可能是因为文件名为中文, 在Linux命令行下不能正常显示。此时使用rm、rm等命令都会失效,怎么办?解决方法:ls -li6340540 =?+.jpg +-?+.jpg6340...

2020-06-23 14:56:00 24

原创 pywin32安装can not locate win32ui.pyd

1通过 pip installpywin32-227-cp37-cp37m-win_amd64.whl 安装好后打开Pythonwin.exe 报错这样并没有真正安装成功,只有部分功能正常,比如语音识别,就不能正常,比如下面测试代码,就报Nonefrom win32com.client import constantsimport osimport win32com.clientimport pythoncomclass SpeechRecognition: def...

2020-06-07 13:03:07 221

原创 jackson冲突问题

jackson存在漏洞,升级到2.9.10 服务起不来2020-06-04 15:07:29,265:ERROR main org.springframework.web.context.ContextLoader - Context initialization failedorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'customObjectMapper'...

2020-06-05 21:50:27 213

原创 maven打包jar到私服(远程仓库)

以eclipse为例,项目中添加私服地址1.pom.xml添加<distributionManagement> <repository> <id>releases</id> <name>Internal Releases</name> <!-- <url>http://10.10.125.123:8081/nexus/c...

2020-06-04 22:53:16 55

原创 rabbitmq默认guest登录问题

rabbitmq有guest账号,但是登录密码错误,重新修改密码也不行,查看rabbitmq的文档,发现在3.3.1以后的版本,,guest这个默认的用户只能通过localhost来登录。解决方法:方法1:编辑配置文件:/etc/rabbitmq/rabbitmq.config,添加以下内容:[{rabbit, [{loopback_users, []}]}].保存后重启rabbitmq-server。方法2: 在本地登录,用http://localhost:15672方法3:创建

2020-06-03 18:17:29 860

原创 logrotate参数说明

Linux系统中,软件运行的时候会产生日志文件,而这些软件本身对日志不进行分割或者压缩处理,久而久之会导致日志文件异常巨大,影响机器性能,活磁盘空间不足。而logrotate就是管理这些日志文件的工具,可以对单个日志文件或者某个目录下的文件按时间或大小进行切割、 压缩归档,还可以在切割之后运行自定义命令。系统会按照cron计划运行logrotate,通常以天为基础单位,在linux系统中计划每天运行的脚本通常位于 /etc/cron.daily/logrotate。也有一些系统不同,比如Gentoo,路

2020-06-02 13:48:25 236

原创 zookeeper实现配置管理

为什么要用zookeeper?安装zookeepermkdir /opt/zookeepermkdir -p /opt/zookeeper/datamkdir -p /opt/zookeeper/logscd /opt/zookeeper上传zookeeper-3.4.12.tar.gz至该目录下,tar zxvf zookeeper-3.4.12.tar.gzcd confcp zoo_sample.cfg zoo.cfgvim zoo.cfg创建环境变量vim /etc.

2020-05-27 21:24:20 81

原创 shell中使用expect发送邮件

一、telnet模拟发邮件[root@sc_10_10_21_24_ucloud_jump ~]# telnet mx3.qq.com 25Trying 58.251.110.111...Connected to mx3.qq.com.Escape character is '^]'.220 newxmmxszb75.qq.com MX QQ Mail Server.helo datavalidation.cn250-newxmmxszb75.qq.com-100.65.28.199-44

2020-05-23 21:42:58 69

原创 gmail邮箱延迟收到问题

最近公司遇到了一个客户问题,发往gmail邮箱,客户收到延迟。公司老大分析了一天终于有了答案。闲下是我做了个整理把经验分享下。 最近客户反馈,发送给gmail.com 和binance.com 的邮件, 收到有延迟,查看海外邮件中继服务器发信日志,日志显示10:00 Google 已经接收了邮件,但是客户在邮箱是在10:04(需要等4分钟)才能刷新到这封邮件。这种现象并不是必现,在第一次给某新地址发送时大概率会出现, 后续在给这个地址发信就大概率不会出现。(实际上后来客户测试,...

2020-05-21 22:04:29 493

原创 dns解析也要备份

之前公司出现DNS解析故障,造成访问入口瘫痪。如果几分钟能自动修复,对我们自身业务影响还好,如果长达数小时故障,公司面临损失。多服务商解析♦ 测试了国内较大的两家域名注册商,阿里云和DNSPOD。♦ 目前灾备方案是:在阿里云和DNSPOD同时配置解析,腾讯云作为主解析,待DNSPOD解析故障时在域名注册商处修改DNS服务器地址为阿里云。注:此灾备方案生效时间需要5-20分钟,需要维护两套DNS解析。方案步骤: 设置DNS服务器为阿里云和DNSPOD两个地址后...

2020-05-21 20:09:21 51

原创 pywin32安装失败

pip installpywin32https://pypi.org/project/pywin32/#files正在上传…重新上传取消正在上传…重新上传取消

2020-05-20 22:42:12 480

原创 利用javamail、ical4j发送会议邀请(日历)邮件、注意ical4j需要修改

一、pom添加依赖 <dependency> <groupId>org.mnode.ical4j</groupId> <artifactId>ical4j</artifactId> <version>2.2.6</version></dependency>二、修改ical4j 直接通过maven下载...

2020-05-19 16:42:54 273

原创 nginx相关安全配置

1.nginx 版本隐藏默认配置,客户端会获取nginx版本信息隐藏方式:隐藏nginx服务器名称编辑nginx源代码,重新编译1.修改nginx内核信息vim/opt/nginx/src/core/nginx.hdefine NGINX_VERSION "8" #修改版本号define NGINX_VER "xjm/" NGINX_VERSION #web软件名define NGINX_VAR "xjm"2.修...

2020-05-17 19:00:52 77

原创 java问题排查、性能调优

查看进程启动时候的堆大小:jinfo -flag InitialHeapSize 7661

2020-05-16 11:47:54 86

原创 time_wait严重吗

一、time_wait产生参考TCP协议(略):二、time_wait 实际问题是什么? time_wait对web 服务器来说占用了60秒的socket, socket的创建数量是有限的通常是65535个,socket本身不占用太多资源,几千个time_wait,占内存只有几M,占用CPU的资源也可以忽略,time_wait实际上带来端口不够的问题。因此time_wait几千的情况下可以不用理会,如果上万我们要关注或优化了。time_wait出现在主动关闭的一端,因此我们优化time_wa...

2020-05-12 22:46:28 30

原创 linux性能排查以及优化方法

一.影响性能的因素1.系统硬件资源 (1) CPU 多核 或超线程 (2) 内存 物理内存和swap设定 (3) 磁盘I/O RAID技术/SSD磁盘 (4) 带宽网卡/交换机的选择 操作系统双网卡绑定2.操作系统 (1)内核参数优化 ulimit -n(最大打开文件数) ulimit -u(最大用户数) (2)文件系统优化ext2:linux 下标准文件系统,无日志记...

2020-05-09 20:17:01 81

原创 java秒杀实现、干货

1.秒杀场景-电商平台促销活动2.秒杀特点高并发抢购有时间限制数量有限,先到先得3.java实践基于秒杀高并发特点、我们采用redis List做为队列,进行抢购商品活动的展示活动表模型(商品详情表,商品参数表忽略)spring boot活动开始用户下单...

2020-05-08 13:56:01 118

原创 mongodb数据导出工具mongoexport

1.mongoexport 工具主要参数解释-h:数据库主机地址-d:数据库的名字-f:导出列名--username:数据库的用户名--password:数据库的密码--collection:指明collection的名字--type: 导出文件类型csv/json--out :指明到要导出的文件名--query:指明导出数据的过滤条件--limit:...

2020-05-07 16:15:21 80

原创 Java web接入google身份验证器二次验证

实现原理参考:https://blog.seetee.me/post/2011/google-two-step-verification/java实践:maven工程加入依赖<dependency> <groupId>com.warrenstrange</groupId> <art...

2020-05-04 22:18:03 508

原创 saltstack很早安全漏洞,公司中标了

报告发现大量机器CPU突涨,邀请ucloud安全团队介入分析原因事件经过:我们对其中2台中病毒机器以及6台核心DB进行了日志分析,由于事件中涉及组件均只有错误日志而没有详细日志,所以入侵的细节不能非常清楚,下面是根据受影响机器的有限日志,主机监控以及遗留的恶意文件分析的结果1. 从受影响的机器上均发现启动了两个进程salt-store和salt-minions,通过静态和动态分析,两个文件均为恶意...

2020-05-04 07:36:14 447

原创 如何防止垃圾注册

最近每天晚上9点有用户垃圾注册,平均30秒一个,刚开始以为是机器注册,我们有验证码机制,虽说验证码简单,但不会这么巧,30秒之内攻破验证码,分析日志后确定是人工注册。针对这内垃圾注册以及我们做了实际的策略,分享下1.IP控制,每IP只允许注册数比如:10个。2.每客户端只允许注册数:比如:2个 ,cookie判断。3.如果用户用邮箱注册,针对邮箱域可以做控制,比如:每小时20个,根据自...

2020-05-03 19:06:45 93

原创 redis+Lua API限流

sendcloud邮件发送服务商(海外版)接口限流---单笔转账到支付10TPS----设置某个KEY=pay-1---每次请求给KEY=pay-1 计数+1 设置过期时间为1秒钟---如果KEY=pay-1计数>10 触发限流操作---KEYS[1]---ARGV---ARGV[2] 10local visitTimes=redis.call('INRC...

2020-05-02 11:49:45 87

原创 redhat6+postfix+devocot+cycus-sasl搭建邮箱服务器

首先准备一个域名,以51-cto.cn为例子,配置DNS记录:@ TXT v=spf1 ip4:123.xx.xx.xxx @ MX mail.51-cto.cn mail A 123.xx.xx.xxx1安装.postfix、dovecot yum install postfix dovecot2.安装cyrus-sas...

2020-04-30 20:48:24 61

原创 java线程池的几种方式

1.所有实现ExecutorService接口的实现类都是线程池,有3大种线程池如红圈:ForkJoinPool ScheduledThreadPoolExecutor ThreadPoolExecutor2.具体线程池,通过Executors工具类静态方法创建,可分成多个小类ExecutorServicenewCachedThreadPool()ExecutorS...

2020-04-29 23:03:24 45

原创 javamail如何正确设置from,sender

一、from与mail from区别mail from: 在邮件原文头实际上是sender,就相当于是from的秘书,替from传达消息。在网易web端看到的表现形式如下邮件头信息如下如果信件即包括 "From:" 又包括 "Sender:",那么 "Sender:" 是发送者如果信件包括 "From:" 但不包括 "Sender:",那么"From:" 里面的...

2020-04-29 16:44:00 165

转载 12种致命邮件格式问题

1、发邮件无subject主题, 或者随便找一个以前的邮件直接回复一下.后果:以前的邮件是针对以前的某一件事情,邮件正文和主题都和现在的事情无关.导致买家一头雾水,无法快速辨认.2、邮件下方无签名(包括人名,公司名字,联系方式等)或者只有中文名字.后果:导致买家不知道你是谁?要知道,买家会接触,联系很多国家的不同供应商,你在一段时间没有和买家联系后,突然发过去个邮件,对方很难判断你是谁?来自什么...

2020-04-29 15:26:11 50

原创 邮件发信速率控制也很重要

由于邮件服务商(如:QQ,网易)对发件人的域名、ip连接、发件人频率限制各不相同,针对不同的邮件服务商,发送方应采用不同的规则,这些规则各大邮件服务商并未公开,这需要经验的积累。这样的话,只能猜测(合作方除外),起初对大多数域名可采用统一限速规则,每一个会话发送多少封邮件。每秒钟、分钟、每小时发送多少封邮件、每ip支持多大并发连接数等。这种规则前几天也许发的好好的,突然可能就出现大量退...

2020-04-29 13:08:56 163

原创 exchange2010安装

老版本exchange2010邮件服务器折腾了好久,搭建成功了.首先准备两台服务器10.10.95.40 10.10.59.41 分别用户安装域服务器和exchnage2010服务器一.安装域服务器(1).安装win2012R2 ,dns 指向本身 配置ip:10.10.95.40(2).设置计算机名字DC(3).2012 server R2 通过添加角色,来添加域控制器(4). ac...

2020-04-29 09:29:39 32

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除