周振伟的博客

屌丝程序员的工作日记

排序:
默认
按更新时间
按访问量

logstash分批次同步大量数据

问题:用logstash同步mysql数据到elasticsearch,原始数据有几千万条,发现过了几十万条之后,到了后面同步就特别慢,无法完成同步原因: statement => "select * from t_wechat_message where ...

2018-06-10 17:42:09

阅读数:274

评论数:0

阿里云oss写入大文件导致系统盘临时性空间不足

问题:用ossfs命令将oss挂载到ecs上成为本地目录系统磁盘总是报警空间不足,持续一段时间后又恢复正常原因:就是在写入大文件到oss时,会先缓存到本地系统盘写入完成后会自动恢复方案:扩容系统盘,或者尽量避免直接写入大文件到oss,若需上传大文件,用专门的ossutil导入工具...

2018-06-08 15:44:19

阅读数:51

评论数:0

logstash增量同步mysql数据到elasticsearch

1.下载和es相同版本的logstash我的es版本为5.4.0 所以下载logstash版本也是5.4.02.解压logstash3.在config文件夹下创建test.conf配置文件input { stdin { } jdbc { type => &...

2018-06-03 14:44:53

阅读数:468

评论数:0

spring @value 注解 属性static无法获取值

如题,碰见个问题@Value("${file.path}")private static String filePath;这样是无法获取配置文件中的值的去掉static即可问题原理:

2018-04-24 16:21:09

阅读数:64

评论数:0

layui上传文件提示上传异常,实际文件已经上传成功

layui上传文件提示上传异常,实际文件已经上传成功原因:上传回调的方法接收的参数应该是json格式的,之前返回的是String,所以一直走异常的方法        @ResponseBody @RequestMapping("/web/upload") pub...

2018-04-22 18:15:36

阅读数:1597

评论数:0

mysql存储特殊字符问题,设置编码utf8mb4

错误:参考链接:本地数据库:https://www.cnblogs.com/shihaiming/p/5855616.htmlrds:https://help.aliyun.com/knowledge_detail/41706.html?spm=5176.7841698.2.9.F5YjI5本地数...

2018-03-29 15:35:18

阅读数:262

评论数:0

本地数据迁移阿里云oss方法

1. 阿里云文档位置https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11174283.6.1077.XGxFRAhttps://help.aliyun.com/document_detail/57053.html?spm=a...

2018-03-23 11:56:03

阅读数:344

评论数:0

python3 pip 安装

1.下载get-pip.py2.执行get-pip.py3.配置pip环境变量

2018-03-09 00:37:47

阅读数:696

评论数:0

python UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 1-1: Non-BMP character

UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 1-1: Non-BMP character not supported in Tk这个错误因为包含特殊字符import sysnon_bmp_map = d...

2018-03-09 00:36:03

阅读数:1605

评论数:6

Basic Auth API遇到的坑

项目中需要调用第三方api,居然有个第三方用的是Basic Auth方式认证  很坑。Basic Auth 就是在请求的时候在headers中设置  Authorization: "Basic 用户名和密码的base64加密字符串"然而  我可能是用了假的加密算...

2018-03-07 18:07:08

阅读数:161

评论数:0

扎心啊,老铁!支付宝支付,同步通知session失效问题

今天遇到一个奇怪的问题,pc端调用支付宝网页支付,但是支付成功后的同步通知,sessionId总是变化搞的一头雾水,相当难受。原因说一下:return_url  我本地测试配置的是  http://127.0.0.1:8080/xxx然而我再访问项目的时候用的是 localhost所以导致支付宝发...

2018-01-18 19:19:21

阅读数:1270

评论数:0

layui 三级联动下拉框更新时回显问题

最近接触layui,比较简洁美观的一款ui,但也有很多小坑,记录一下实现省市区下拉三级联动更新回显的问题    form.on('select(uprovinceId)', function(data){     initCityList('change'); }); 这里面有个问题...

2017-11-16 18:29:36

阅读数:856

评论数:0

mybatis 逆向工程 生成代码

最近发现一个同学分享的代码非常不错,可以生成mybatis的部分代码,操作方便,分享给大家,同时也感谢这位同学 https://github.com/astarring/mybatis-generator-gui

2017-11-13 14:51:57

阅读数:74

评论数:0

Linux安装配置Redis CentOS 7 下安装Redis

这个博客写的挺详细的: http://blog.csdn.net/ul646691993/article/details/52736279

2017-10-29 16:25:23

阅读数:699

评论数:0

扎心了,老铁!mysql编码问题引发的血案

Cause:java.sql.SQLException:Incorrect string value:'\xF0\x9F\x99\x86\xF0\x9f. 异常扎心,服务出现诡异bug,苦寻良久,终于找到了罪魁祸首。 如果某个字段存储了带有表情的内容,那么mysql编码要设置成为utf8mb4...

2017-09-18 18:38:23

阅读数:375

评论数:0

mysql5.7 配置开启log

在 my.ini文件中 加上如下配置    mysql.log记录启动,关闭远程 连接的一些信息。   myerror.log记录错误信息 general-log=1 log-output=FILE general-log-file="C:\wxcrmchatservice\mys...

2017-09-11 11:56:16

阅读数:120

评论数:0

bootstrap 自定义alert 和 confirm

使用bootstrap时发现没有很好的alert  和  confirm样式  需要自己封装,从网上找的资源分享给大家。 以下一段js引入就可以了 (function ($) {    window.Ewin = function () {  var html = '' +   '' ...

2017-09-05 14:42:13

阅读数:3255

评论数:0

痛心疾首,慎用getLong

在使用net.sf.json的时候,会发现一个问题,当put进去的值是String类型时,如果取值的时候用getLong方法,这个不会报错,但是如果这个数值长度太长,亲测超过15位,会导致数值发生变化,当你以为万事大吉的时候数据悄悄的被改变了,所以慎用这个getLong方法。 package c...

2017-07-02 11:05:32

阅读数:216

评论数:0

mysql 时间加减函数

求两个日期间相差几天? select datediff('2017-08-08','2017-08-01'); 7 select datediff(CURDATE(),DATE_FORMAT(max(enddate), '%Y-%m-%d'))  from t_wechat_rep_log;

2017-06-22 11:32:50

阅读数:493

评论数:0

eclipse java 图标J由实心变成空心

空心的J文件不会被编译,会当作资源文件 方法: 右键,bulid path,在source中加入这些空心J文件,编译就会恢复正常

2017-06-11 14:49:17

阅读数:618

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭