- 博客(18)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 elasticsearch命令
开始学习使用 elasticsearch, 把步骤记录在这里： 最大的特点： 1. 数据库的 database, 就是 index 2. 数据库的 table, 就是 tag 3. 不要使用browser， 使用curl来进行客户端操作. 否则会出现 java heap ooxx... curl: -X 后面跟 RESTful ： GET, POST ... ...
2016-06-30 17:57:21
105
原创 linux服务器上tcp有大量time_wait状态的解决方法和原因解释
在检查服务器时，发现有很多连接超时情况出现，用netstat命令查看，tcp的time_wait状态较多，需要进行优化。1、 看一下现在time_wait的数量 netstat -an | grep TIME_WAIT | wc -l2、发现系统存在大量TIME_WAIT状态的连接，通过调整内核参数解决，在 /etc/sysctl.conf中加入 ...
2016-06-30 17:51:02
1207
原创 Apache Kafka 0.10.0.0稳定版发布及其新特性介绍
http://www.iteblog.com/archives/1677Apache Kafka 0.10.0.0稳定版发布及其新特性介绍在Kafka 0.9.0.0，开发者们在新consumer上使用poll()函数的时候是几乎无法控制返回消息的条数。不过值得高兴的是，此版本的Kafka引入了max.poll.records参数，允许开发者控制返回消息的条数。 New C...
2016-06-28 17:04:03
214
原创 经典大数据架构案例：酷狗音乐的大数据平台重构
参考经典大数据架构案例：酷狗音乐的大数据平台重构http://www.infoq.com/cn/articles/kugou-big-data-platform-restructure
2016-06-27 19:32:19
175
原创 org.apache.commons.beanutils.ConversionException: No value specified for ‘Date'
org.apache.commons.beanutils.ConversionException: No value specified for ‘Date’错误 ConvertUtils.register(new DateConverter(null), java.util.Date.class); BeanUtils.copyProperties(article, ...
2016-06-24 16:16:50
125
原创 DecimalFormat
System.out.println("Hello world"); DecimalFormat suffixCodeFormat = new DecimalFormat("000"); long number = 9923007L % 1000; System.out.println(number); System.out...
2016-06-22 17:12:34
78
原创 tac命令
tac /tomcat/logs/catalina.out |grep 'Exception' -m5 -a50 -b50有许多命令都可以查看文件，不同的命令有不同的优点，可以针对不同的需要分别选择命令以提高效率： cat 由第一行开始显示内容，并将所有内容输出 tac 从最后一行倒序显示内容，并将所有内容输出 more 根据窗口大...
2016-06-21 16:04:41
138
原创 解决Eclipse中SVN图标不显示的问题
http://www.cnblogs.com/yourancao520/archive/2012/02/27/2369728.html在用Eclipse做开发的时候，用到了svn版本控制器，这天当我打开Eclipse的时候，发现项目里面的所有文件前的版本号以及状态图标都不显示了,即所有的svn图标不显示了，这是怎么回事，关掉Eclipse重新启动了一遍，还是不凑效。可以确认的是当进行文件的...
2016-06-21 13:56:48
543
1
原创 ElasticSearch immense term错误
参考http://rockybean.info/2015/02/09/elasticsearch-immense-term-exceptionElasticSearch immense term错误作者: rockybean 时间: February 9, 2015 分类: 技术在使用ElasticSearch的过程中遇到了一个immense term的异常报错，调研了一下...
2016-06-20 11:38:02
941
原创 Spark参数调优
参考https://www.zybuluo.com/xiaop1987/note/102894在一个 Spark 应用中，每个 Spark executor 拥有固定个数的 core 以及固定大小的堆大小。core 的个数可以在执行 spark-submit 或者 pyspark 或者 spark-shell 时，通过参数 --executor-cores 指定，或者在 spark-d...
2016-06-20 10:58:09
108
原创 hadoopfsck /a.dat -files -locations -blocks
[code="java"]Job aborted due to stage failure: Task 0 in stage 5008.0 failed 4 times, most recent failure: Lost task 0.3 in stage 5008.0 (TID 262140, nmg01-hadoop-m04100.nmg01.baidu.com): java.lan...
2016-06-17 11:28:58
196
原创 基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现
基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现http://www.ibm.com/developerworks/cn/analytics/library/ba-1512-elkstack-logprocessing/index.html实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)http://blog...
2016-06-16 18:41:10
203
原创 大数据性能调优之HBase的RowKey设计
大数据性能调优之HBase的RowKey设计http://www.open-open.com/lib/view/open1417612091323.html2.1.1 Rowkey长度原则Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议说设计在10~100个字节，不过建议是越短越好，不要超过16个字节。原因如下：（1）数据的持久化文件HFil...
2016-06-16 15:59:05
138
原创 DecimalFormat
http://blog.csdn.net/evangel_z/article/details/7624503http://blog.csdn.net/xiaoli_feng/article/details/9196527DecimalFormat 是 NumberFormat 的一个具体子类，用于格式化十进制数字。该类设计有各种功能，使其能够分析和格式化任意语言环境中的数，包括对西方语...
2016-06-15 19:56:01
71
原创 HBase常用操作之namespace
参考http://blog.csdn.net/opensure/article/details/464709691、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改...
2016-06-15 11:56:07
380
原创 eclipse 设置svn
eclipse 设置svn help选项，打开Install new Software，然后Add subclipse http://subclipse.tigris.org/update_1.8.x （备注安装时间比较漫长，大约1个小时） http://blog.csdn.net/tfy1332/article/d...
2016-06-08 15:22:39
121
原创 Twitter发布新的大数据实时分析系统Heron
Twitter发布新的大数据实时分析系统Heronhttp://geek.csdn.net/news/detail/33750Twitter Heron的深入解析(与Storm的比较)http://www.tuicool.com/articles/2mMZver
2016-06-07 18:21:21
177
原创 eclipse+scala+spark+maven 开发环境搭建
eclipse+scala+spark+maven 开发环境搭建参考http://wenku.baidu.com/link?url=Oq-n86CoFybPfqXfk-cbk6mPR2Jy595Noo4ElVQVwdbchIvJQuBejsOrH8L4oMquAzniSi_ACn8gmwuRsOu74PMMokNqCRKWbG_YX572eQehttp://www.eclips...
2016-06-07 16:33:35
121
安装两个版本的MySQL后 无法进入MySQL5的客户端？
2008-06-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人