- 博客(77)
- 收藏
- 关注
RSS订阅原创 使用Anemometer基于pt-query-digest将MySQL慢查询可视化
本文主要介绍使用Anemometer基于pt-query-digest将MySQL慢查询可视化，因为网上资料相对较少，且都是英文的，遇到报错也没有相关的参考资料，因此写此文。准备条件:1.MySQL开启慢查询2.安装Percona Toolkitrpm -qa|grep perconapercona-toolkit-2.2.7-13.下载Anemometer...
2016-03-18 15:45:14
170
原创 使用 Scripted Metric Aggregation 遇到的问题
使用Scripted Metric Aggregation进行聚合时,出现以下错误提示:nested: QueryParsingException[[my_index] script_score the script could not be loaded]; nested: ScriptException[scripts of type [inline], operation [sear...
2016-02-19 14:12:35
484
原创 ElasticSearch性能优化策略
ElasticSearch性能优化主要分为4个方面的优化。一、服务器部署 1、增加1-2台服务器，用于负载均衡节点 elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参 数搭配使用时，能够帮助提供服务器性能。 1.1> node.master: false node.data: true 该node服务...
2016-02-17 19:42:30
501
原创 Elasticsearch 数据建模 - 处理关联关系
数据建模(Modeling Your Data)ES是一头不同寻常的野兽，尤其是当你来自SQL的世界时。它拥有很多优势：性能，可扩展性，准实时的搜索，以及对大数据的分析能力。并且，它很容易上手！只需要下载就能够开始使用它了。但是它也不是魔法。为了更好的利用ES，你需要了解它从而让它能够满足你的需求。在ES中，处理实体之间的关系并不像关系型存储那样明显。在关系数据库中的黄金准...
2016-02-17 14:40:19
182
原创 Python报错UnicodeDecodeError: ascii codec can t decode byte 0xe0 ...解决方法
安装Python2.7后，下载一些Package包进行setup时总是报错UnicodeDecodeError，如下：File "C:/Python27/lib/mimetypes.py", line 250, in enum_typesctype = ctype.encode(default_encoding) # omit in 3.x!UnicodeDecodeError: 'a...
2016-02-16 14:45:53
138
原创 数据类型转换错误
异常: Invalid shift value (64) in prefixCoded bytes (is encoded value really an INT?)查了下ES日志发现有报错：nested: NumberFormatException[Invalid shift value in prefixCoded bytes (is encoded value really an...
2016-02-15 18:28:20
376
原创 Oracle VM VirtualBox下各种视图切换
在一次操作变换VirtualBox下视图时，莫名菜单项全不见了，后通过热键的选择方式更改回来了，实属庆幸啊，废话不多说，在这里说一下VirtualBox下视图切换的快捷键：Oracle VM VirtualBox下各种视图切换 里面有个Host键，注意这个Host键不一定是键盘上的Host，而是设定的某一个键,暂且称之为热键吧，默认情况下是“右CTRL”就是所说的Host,...
2016-02-03 14:03:08
968
原创 elasticsearch 排序异常,关键字冲突
org.elasticsearch.action.search.SearchPhaseExecutionException: Failed to execute phase [query], all shards failed; shardFailures {[AiJ8JiX6SBGS-Tq0V5mrDA][tickets_v1][0]: QueryPhaseExecutionException[...
2016-02-03 12:35:44
1111
原创 ElasticSearch不同类型下同名字段排序错误
虽然之前知道elasticsearch不同类型下同名字段要慎用，并且会出问题，但是只真正碰到了才印象深刻啊，前几天就碰到了，是关于一个排序的问题，事情的经过是这样的，在异常服务重启之后，某个查询突然出问题了，提示信息显示的是排序失败，如下：12 {"error":"SearchPhaseExecutionException[Failed to execute phase [quer...
2016-02-03 11:18:24
306
原创 ElasticSearch immense term错误
在使用ElasticSearch的过程中遇到了一个immense term的异常报错，调研了一下出现的原因，又学习到些新东西，见到记录在这里。这个错误大致内容如下：java.lang.IllegalArgumentException: Document contains at least one immense term in field="reqParams.data" (who...
2016-02-02 19:07:14
1138
原创 ThreadLocal可能引起的内存泄露
threadlocal里面使用了一个存在弱引用的map,当释放掉threadlocal的强引用以后,map里面的value却没有被回收.而这块value永远不会被访问到了. 所以存在着内存泄露. 最好的做法是将调用threadlocal的remove方法. 在threadlocal的生命周期中,都存在这些引用. 看下图: 实线代表强引用,虚线代表弱引用. [img]htt...
2016-01-19 11:35:15
99
原创 highcharts 曲线图实例
无标题文档$(function () { var chart; $(document).ready(function() { var chart = new Highcharts.Chart({ chart: { renderTo: 'container', ...
2016-01-06 17:33:32
144
原创 highcharts跟后台交互的demo
http://runjs.cn/code/ih5xzoebhighcharts跟后台交互的demohighcharts跟后台如何进行交互小demo，一个servlet，一个jsp页面，servlet用来往jsp页面输出数据，后台数据是随便写的，你可以根据需要改成自己需要的数据。 我这里的servlet往前台传的数据是字符串，然后在前台用js处理成json对象的，也可以往前...
2015-12-24 15:11:49
194
原创 MAT(Memory Analyzer Tool)工具入门介绍
1、MAT是什么？ MAT(Memory Analyzer Tool)，一个基于Eclipse的内存分析工具，是一个快速、功能丰富的JAVA heap分析工具，它可以帮助我们查找内存泄漏和减少内存消耗。使用内存分析工具从众多的对象中进行分析，快速的计算出在内存中对象的占用大小，看看是谁阻止了垃圾收集器的回收工作，并可以通过报表直观的查看到可能造成这种结果的对象。 2.为什么...
2015-12-23 19:14:36
114
原创 linux命令行编辑快捷键
先总结几个个人觉得最有用的ctrl + ? 撤消前一次输入[color=red]ctrl + c 另起一行ctrl + r 输入单词搜索历史命令ctrl + u 删除光标前面所有字符相当于VIM里d shift+^ctrl + k 删除光标后面所有字符相当于VIM里d shift+$[/color][color=red]ctrl + d 删除光标所在位置上的字符相当...
2015-12-14 11:01:37
78
原创 mybatis的#{}和${}的区别以及order by注入问题
前言略,直奔主题..#{}相当于jdbc中的preparedstatement${}是输出变量的值你可能说不明所以,不要紧我们看2段代码:String sql = "select * from admin_domain_location order by ?";PreparedStatement st = con.prepareStatement(sql);...
2015-12-11 14:33:47
102
原创 mybatis中使用in查询时的注意事项
1. 当查询的参数只有一个时 findByIds(List ids) 1.a 如果参数的类型是List, 则在使用时，collection属性要必须指定为 list复制代码 Select from jria where ID in ...
2015-12-10 19:05:31
128
原创 MySQL的btree索引和hash索引的区别
Hash 索引结构的特殊性，其[color=red]检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。[/color]可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢？任...
2015-12-10 15:24:07
63
原创 [基础]1、对象类型介绍
[b]python对象概述[/b]一切皆为对象，包括数字，字符串、函数等等。python的核心数据类型python的内置对象类型1.、数字 例如：123， 3.23， 99L， 3+4j, Decimal2、字符串 例如：'spam', "guido's"3、列表 例如：[1,3,4,5], [1,[2,'three'],4]4、字...
2015-12-10 13:01:27
137
原创 阻塞、非阻塞、异步、同步以及select/poll和epoll
针对IO，总是涉及到阻塞、非阻塞、异步、同步以及select/poll和epoll的一些描述，那么这些东西到底是什么，有什么差异？一般来讲一个IO分为两个阶段：等待数据到达把数据从内核空间拷贝到用户空间现在假设一个进程/线程A，试图进行一次IO操作。A发出IO请求，两种情况： 1）立即返回 2）由于数据未准备好，需要等待，让出CPU给别的线程，自己sleep...
2015-12-03 23:56:32
108
原创 高性能IO模型浅析
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。（3）IO多路复用（IO Multiplexing）：即经...
2015-12-03 23:48:47
70
原创 MySQL字符串函数：字符串截取
MySQL 字符串截取函数：left(), right(), substring(), substring_index()。还有 mid(), substr()。其中，mid(), substr() 等价于 substring() 函数，substring() 的功能非常强大和灵活。1. 字符串截取：left(str, length)mysql> select left('sqlstudy...
2015-12-03 15:23:59
80
原创 Mongodb亿级数据量的性能测试
进行了一下Mongodb亿级数据量的性能测试，分别测试如下几个项目：（所有插入都是单线程进行，所有读取都是多线程进行）1） 普通插入性能 （插入的数据每条大约在1KB左右）2） 批量插入性能 （使用的是官方C#客户端的InsertBatch），这个测的是批量插入性能能有多少提高3） 安全插入功能 （确保插入成功，使用的是SafeMode.True开关），这个测的是安全插...
2015-11-06 18:31:53
118
原创 hive distinct 两个字段注意的问题
在Hive的是用中，我们经常会有这种需求：按照同一个id进行Ｇroup By，然后对另一个字段去重，例如下面得数据：id pic1 1.jpg2 2.jpg1 1.jpg 此时，是用DISTINCT或者2 col得Group By都是不行得，我们可以用这个UDAF：collect_set(col)，它将对同一个group by 得key进行set去重后，转换为一个arr...
2015-11-03 19:17:52
1758
原创 数据库水平切分方法
方法一：使用MD5哈希 做法是对UID进行md5加密，然后取前几位（我们这里取前两位），然后就可以将不同的UID哈希到不同的用户表（user_xx）中了。 通过这个技巧，我们可以将不同的UID分散到256中用户表中，分别是user_00,user_01 ...... user_ff。因为UID是数字且递增，根据md5的算法，可以将用户数据几乎很均匀的分别到不同的user表中。...
2015-10-21 18:24:40
82
原创 linux常见操作
[b]空行过滤掉[/b]在Linux上处理一些数据文件时，有时候需要将其中的空行过滤掉，系统中提供的各种工具都可以完成这个功能。将常用的介绍如下吧：1. grepgrep . data.txtgrep -v '^$' data.txtgrep '[^$]' data.txt2. sedsed '/^$/d' data.txtsed '/^\s*$/d' dat...
2015-10-20 14:23:20
64
原创 如何实现XA式、非XA式Spring分布式事务
Spring应用的几种事务处理机制Java Transaction API和XA协议是Spring常用的分布式事务机制，不过你可以选择选择其他的实现方式。理想的实现取决于你的应用程序使用何种资源，你愿意在性能、安全、系统稳健性、数据完整方面做出何种权衡。在这次JavaWorld大会上，来自SpringSource的David Syer跟大家分享了Spring应用的几种事务处理机制、三种XA...
2015-09-30 23:06:53
102
原创 数据库分库分表 sharding 多数据源的事务处理
系统经sharding改造之后，原来单一的数据库会演变成多个数据库，如何确保多数据源同时操作的原子性和一致性是不得不考虑的一个问题。总体上看，目前对于一个分布式系统的事务处理有三种方式：分布式事务、基于Best Efforts 1PC模式的事务以及事务补偿机制。我们下面对这三种处理方式一一进行分析。本文原文链接：http://blog.csdn.net/bluishglc/article/deta...
2015-09-28 23:55:21
121
原创 数据库分库分表 sharding 全局主键生成策略
本文将主要介绍一些常见的全局主键生成策略，然后重点介绍flickr使用的一种非常优秀的全局主键生成方案。关于分库分表(sharding)的拆分策略和实施细则，请参考该系列的前一篇文章：数据库分库分表(sharding)系列(一) 拆分实施策略和示例演示 本文原文连接: http://blog.csdn.net/bluishglc/article/details/7710738 ,转载请注明出处！...
2015-09-28 23:53:58
173
原创 复制（Replication）
Redis 支持简单且易用的主从复制（master-slave replication）功能， 该功能可以让从服务器(slave server)成为主服务器(master server)的精确复制品。以下是关于 Redis 复制功能的几个重要方面：•Redis 使用异步复制。 从 Redis 2.8 开始， 从服务器会以每秒一次的频率向主服务器报告复制流（replication...
2015-09-26 18:26:03
99
原创 常用工具总结
自动部署工具：Jenkins是一个开源软件项目，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。Apache JMeter是Apache组织开发的基于Java的压力测试工具,http://www.ltesting.net/ceshi/open/kyxncsgj/jmeter/...
2015-09-26 16:04:14
66
原创 优秀的技术网站地址
1、优秀的技术网站地址：在互联网某公司混迹6年，也算是互联网的一个老兵。从事java开发有8年有余，也算是老古董了一个。对web开发有浓厚的兴趣。里面有很多设计相关的文章，还有技术类的，都比较深入[url]http://www.cnblogs.com/aigongsi/[/url]redis,mysqlhttp://www.cnblogs.com/kissdodog/p/3...
2015-09-25 19:27:48
57
原创 Redis实现lock互斥访问资源
Redis是当前很流行的一种开源键值数据库。目前睿思的后台架构在数据库层采用了Redis和MySQL组合的形式，其中Redis主要用来存储状态信息（比如当前种子的peer）和读写频繁的数据。Redis完全运行在内存之上，无lock设计，速度非常快！通过实测，在睿思服务器上读写速度达到3万次/s。 在高并发的应用中，很多时候我们需要对某些资源进行竞争访问，比如在很多人下载一个热门资源，就可能存在...
2015-09-25 17:53:36
166
原创 一致性哈希算法
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义：1、[color=red...
2015-09-25 00:27:28
177
原创 Spring 架构简要说明
[img]http://dl2.iteye.com/upload/attachment/0111/9701/ac93c551-11e9-335d-9082-03ea615ab3d2.jpg[/img]
2015-09-24 23:59:11
76
原创 ELASTICSEARCH常见问题
[b]1. ELASTICSEARCH建索引过程中崩溃问题追查[/b]by LINECONG前天用elasticsearch重建索引，总是在凌晨崩溃，ES甩出一坨java_pid[PID].hprof的文件，然后退出。查看日志，有java OutOfMemoryError的错误信息。用如下命令查看索引状态，发现在建的索引健康状态为red。curl http://localhost:...
2015-09-22 15:39:07
376
原创 Berkeley DB
Berkeley DB是一个开源的文件数据库，介于关系数据库与内存数据库之间，使用方式与内存数据库类似，它提供的是一系列直接访问数据库的函数，而不是像关系数据库那样需要网络通讯、SQL解析等步骤。Berkeley DB不对记录里的数据进行任何包装，每个记录有且只有两部分：键、值，所以在Berkeley DB的背景下通常用key/data pair指代一个记录。记录和它的键都可以达到4G字节...
2015-09-19 23:56:58
90
原创 ElasticSearch基础杂烩-配置-索引-优化
http://blog.csdn.net/huwei2003/article/details/40591191java实例http://www.cnblogs.com/dennisit/archive/2013/04/08/3008631.html分布式搜索elasticsearch 索引文档的增删改查 入门http://blog.csdn.net/gdutliuyun827/...
2015-09-19 23:56:46
90
原创 ElasticSearch集群搭建
http://www.linuxidc.com/Linux/2015-02/114246.htmhttp://www.linuxidc.com/Linux/2015-02/114243.htmhttp://my.oschina.net/xiaohui249/blog/228748插件大全elasticsearch插件大全（不断更新）：http://www.searchtec...
2015-09-19 23:56:03
62
原创 elasticsearch java调用实例
http://outofmemory.cn/code-snippet/3780/Java-Client-call-ElasticSearch-do-quanwen-search-code-example[code="java"]package com.es;import java.io.IOException;import org.elasticsearch.Elast...
2015-09-19 23:55:34
373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人