- 博客(140)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 大数据分析的可靠性：Storm为例
做的漂亮！以下主要分享实时流处理系统Storm里的一点小故事。但让我总结起来，首先我想到的是硕士期间一位大老板，牛逼的人物IEEE Fellow，系统控制和电力优化的背景，他推崇一个简单的原则，用公式来描述你的核心思路，如果写不出这样的公式，要么是你还不够了解你的优化对象和方法的本质，要么是你选择了苦逼的道路；你的方法主要靠暴力压榨资源换取一定的效果而且还有不确定性，有朝一日容易被秒杀。我当...
2017-03-21 00:05:31
1490
原创 系统吞吐量（TPS）、用户并发量、性能测试概念和公式
PS：下面是性能测试的主要概念和计算公式，记录下：一．系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间 QPS（TPS）：每秒钟request/事务...
2017-03-20 13:40:27
285
原创 linux性能篇之部署可回溯的工具sysstat、atop、oswatch、nmon
在企业应用中，除了经常会用到企业级的性能监控和告警工具（如nagios、zabbix），还会在服务器设备出现性能问题时，可以通过部署一些可以进行性能回溯和追踪的性能分析工具，便于在主机hang死或挂机时，定位主机各项指标是否过载，也可以定位到具体是哪些程序引发了性能瓶颈。运维人员一般接触到性能分析工具非常多，win平台下的有perfmon、java下的jprofile、系统下的sysstat...
2017-03-20 11:59:01
645
原创 Understanding the Internal Message Buffers of Storm
When you are optimizing the performance of your Storm topologies it helps to understand how Storm’s internal message queues are configured and put to use. In this short article I will explain and i...
2017-03-19 01:24:19
223
原创 Storm UI 显示字段说明
Storm ui 展示字段说明Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示： Cluster SummaryVersion: storm 版本号Nimbus uptime: nimbus 运行时间Superviso...
2017-03-17 16:20:44
317
原创 浅谈软件性能测试中关键指标的监控与分析
浅谈软件性能测试中关键指标的监控与分析一、软件性能测试需要监控哪些关键指标？软件性能测试的目的主要有以下三点：Ø 评价系统当前性能，判断系统是否满足预期的性能需求。Ø 寻找软件系统可能存在的性能问题，定位性能瓶颈并解决问题。Ø 判定软件系统的性能表现，预见系统负载压力承受力，在应用部署之前，评估系统性能。而对于用户来说，则最关注的是当前系统：Ø 是否满足上线性...
2017-03-17 16:14:46
116
原创 Linux中内存buffer和cache的区别
细心的朋友会注意到,当你在linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching.这个问题,貌似有不少人在问,不过都没有看到有什么很好解决的办法.那么我来谈谈这个问题.先来说说free命令[root@server ~]# free -m total used fre...
2017-03-15 23:48:50
138
原创 Storm1.0.x新功能调研
简介storm1.0版本的重要功能都在1.0.0版本中发布，1.0.1版本中以fixed bug为主,调研使用1.0.1版本.storm1.0.0 ：http://storm.apache.org/2016/04/12/storm100-released.html Pacemaker默认情况下使用zookeeper来存储心跳信息，需要修改配置。storm.cluster...
2017-03-13 10:48:52
144
原创 用实例理解Storm的Stream概念
事情源于在看基于Storm的CEP引擎：flowmix的FlowmixBuilder代码，每个Bolt设置了这么多的Group，而且declareStream也声明了这么多的stream-id，对于只写过WordCountTopology的小白而言，直接懵逼了，没见过这么用的啊，我承认一开始是拒绝的，每个Bolt都设置了这么多Group，这TMD拓扑图是什么样的？123...
2017-03-05 23:47:54
252
原创 ES-Hadoop学习笔记-Storm交互
elasticsearch-Hadoop提供ElasticSearch与Apache Storm的集成支持。从ElasticSearch读取的数据是以Storm里Tuple的形式进行操作处理。依赖版本信息：<dependency><groupId>org.apache.storm</groupId><artifactId>storm-cor...
2017-03-05 17:24:21
430
原创 Java日文分词器之Kuromoji
Kuromoji是一个开源的，基于java语言开发的轻量级的日文分词工具包。捐赠给了ASF之后被内置在Lucene 和 Solr中，作为默认的日文分词器（默认的中文分词器是smartcn）。但他也不依赖Lucene 或 Solr，可以单独使用。采用维特比算法（Viterbi algorithm），默认使用IPA字典。 其他有名的还有lucene-gosen ：http://code.google...
2017-02-27 23:19:59
1051
原创 Apache POI：Java程序读写Microsoft Office格式文档——简单完整实例讲解
1.Apache POI简介 Apache POI是Apache软件基金会的开放源码函式库,官方名称为：Apache POI - the Java API for Microsoft Documents，POI提供API给Java程序对Microsoft Office格式文档读和写的功能。 .NET的开发人员则可以利用NPOI (POI for .NET) 来存取 PO...
2017-02-27 20:01:49
208
原创 实例展示Elasticsearch集群生态,分片以及水平扩展.
elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器（横向扩展）,Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说，Elastic...
2017-02-23 19:21:04
115
原创 UNDO损坏的恢复方法
undo表空间故障特殊恢复（二）------ORA-01092: ORACLE 实例终止。强制断开连接这个测试的是instance recover（单实例里就是crash recovery）的恢复需要故障undo里的数据，一般的情况instance recover使用联机日志文件的，当发生多版本更新的故障，也可需要回滚段数据的。测试表SQL> select count(1) f...
2017-01-15 22:06:23
1027
原创 ES5安装Elasticsearch-head插件
安装elasticsearch-head ES从5.0开始，不再支持网页型插件，所以head不能像以前一样直接安装到ES插件库由ES带起来就能用。其实elasticsearch-head只是一个前端界面，只需由一个HTTP服务帮他发布界面即可使用。 所以，如果ES5是部署在Linux下，就由系统自带的HTTPD服务发布head即可。最后，可以改下app.js中...
2016-11-20 22:36:27
327
原创 Mount远程目录并让本地非root用户可读可写
远程与本地是两台Linux机器，要实现如题效果，传统的nfs的mount方式虽然简单方便却不行nfs的方式：sudo mount -t nfs -o rw 192.168.0.xx:/path /mnt/test在本地你会发现/mnt/test下的文件用户为nobody，普通用户可以读，但是非root用户写不了(不用sudo不用su)，有的人想通过改/etc/fstab 或者...
2016-11-03 22:07:23
2195
原创 DB2数据库编目（catalog）概念的理解
编目（Catalog），是在本地或远程建立客户端到服务器的数据库连接的过程。其目的在于获取编目信息，即生成用来访问数据库的目录。系统数据库目录包含一个列表和指针，通过目录可以使 DB2 能够找到已知的数据库，无论它们是在本地系统上，还是在远程系统上。如果没有编目信息，应用程序就无法连接数据库，所以在使用 DB2 时必须要先进行编目。个人理解就是将server端有关数据库的相关信息加载到本地。...
2016-10-28 16:44:51
5930
原创 Oracle创建连接过慢的问题
近日，公司ORACLE服务器突如其来的宕机了，经过重装一系列的折腾终于解决了。终于发现自己对ORACLE理解还不够。 先列举一下几个问题的解决方案：问题一：ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务解决方案：通过重启服务的方式启动数据库，尝试连接。如果未解决修改listener.ora文件，配置静态监听。总结：正确添加listener.ora；重新启...
2016-10-15 00:27:43
2408
原创 J2EE 使用网页播放器时要注意响应给浏览器的头信息
J2EE 使用网页播放器时要注意响应给浏览器的头信息，否则网页播放器没有进度控制条。 Accept-Ranges:bytesAccess-Control-Allow-Headers:range, accept-encodingAccess-Control-Allow-Origin:*Content-Le...
2016-09-24 20:18:11
145
原创 推荐60个jQuery插件
jQuery插件jQuery Spin Button自定义文本框数值自增或自减 jQuery插件JQuery Pager分页器实现javascript分页功能 jQuery插件FontSizer实现Javascript自定义动态调整网页文字大小 jQuery插件Magnify放大镜实现javascript图片放大功能 jQuery插件tooltip提示条实现Javascript动态文字...
2016-09-07 23:10:45
138
原创 Eclipse中集成Tomcat
问题:很多时候在Eclipse中启动Tmocat后，不能访问本机的localhost:8080主页，并且其他项目也不能访问。原因：打开Tomcat下的webapp后也找补到项目目录，这是因为Eclipse将发布路径重定向了，没有放到tomcat下的webapp中。解决：在Eclipse中集成Tomcat，在Eclipse中启动后能够访问localhost:8080和项目网站。...
2016-07-11 21:46:48
80
原创 linux: 虚拟机使用NAT方式连网
闲来无事，扯点皮，详细说下NAT配置过程NAT全称Network Address Translation网络地址转换，顾名思义，配置的重点也是地址转换。步骤1、配置局域网段及网关打开vmware的visual network editor，设置成下图样式：图示说明1)采用nat方式要配置VMnet8，这个虚拟网卡是专用nat方式连网的，其他网卡不管。2)其中2中的10...
2016-05-11 14:13:18
128
原创 网络中的AS自治域
1. 什么是AS自治域？全球的互联网被分成很多个AS 自治域，每个国家的运营商、机构、甚至公司等都可以申请AS号码，AS号码是有限的，最大数目是65536。各自分配的IP地址被标清楚属于哪个AS号码，在全球互联网上，假如一封email从一个a IP地址发往另外一个b IP地址，这封email必须要知道a IP地址属于的AS号码A到b IP地址属于的AS号码 B如何走，然后就沿着这条路到达目的...
2016-04-08 23:37:35
8604
原创 Oracle 10g在 WIN 10上 安装过程中遇到的问题记录
[摘要： 远期装置oracle毛病百出，以致于重拆了体系，目前终究装置好了，上面便依据碰到的题目总结几条须要注重的中央： 1：装置翻开setup.exe文件之前左键“属性”——”兼容] 近期安装oracle错误百出，以至于重装了系统，现在终于安装好了，下面就根据遇到的问题总结几条需要注意的地方：1：安装打开setup.exe文件之前右键“属性”——”兼容性‘——...
2016-04-07 22:36:20
322
原创 HanLP自然语言处理包开源
支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、CRF依存句法分析）。提供Lucene插件，兼容Lucene4.x。HanLP: Han Language Processing汉语言处...
2016-03-26 00:27:10
522
原创 PowerDesigner 经验积累
一、PowerDesigner设置关系连线格式 PowerDesigner中概念模型实体与实体关系连线以及物理模型表与表关系连线格式化，如：直线、曲线、折线，操作如下：tools-->display preferences-->format-->reference-->modify-->corners 二、设置线的转折点如果你觉得一个弯不够...
2016-03-24 23:09:05
263
原创 并发连接数对浏览器加载速度的测试
每款浏览器都有自己的默认并发连接数，而且浏览器默认对同一域下的资源，只保持一定的连接数，会阻塞过多的连接，这都会影响到浏览器对网页的加载速度。本文就简单的以不同的并发连接数来测试加载速度。先介绍下一些基本概念，浏览器获取页面显示请求页面的HTML代码，然后分析HTML代码，获取页面的组件（CSS文件、JS文件、图片等）。当然无论获取HTML代码还是组件都可能需要进行DNS解析。 其次这些组件...
2016-03-23 23:04:29
419
原创 浏览器对同一域名进行请求的最大并发连接数
当我们在浏览网页的时候，对浏览速度有一个重要的影响因素，就是浏览器的并发数量。并发数量简单通俗的讲就是，当浏览器网页的时候同时工作的进行数量。 如果同时只有2个并发连接数数量，那网页打开的时候只能依赖于这2条线程，前面如果有打开慢的内容，就会直接影响到后面的内容打开。但是如果同时有更多的并发连接数，这样就会大大的提高网页加载速度。详情可查看我们之前发布的文章：并发连接数对浏览器加载速度...
2016-03-23 22:56:39
2869
原创 Windows7中pagefil.sys和Hiberfil.sys文件删除与转移
Windows7中，有两个很大的文件，一个是pagefil.sys,另一个是hiberfil.sys。它们俩能占去将近10G的地盘，对于一个比较小的系统盘来说，这样的文件就太要命了吧。一定要把它们请出可怜的系统盘。1.pagefil.sys是虚拟内存的文件，它的移出是比较简单的，从我的电脑中打开系统属性－》高级－》性能－设置－》性能选项中的高级tab中更改虚拟内存。 2.hiberfil...
2016-03-02 23:02:46
1004
原创 四、Elasticsearch 分布式搜索引擎 Linux平台 安装使用
Elasticsearch安装与启动下载Elasticsearch软件包 这里在多说一句，Elasticsearch提供了两种安装方式： 一种是根据发行版，通过Elasticsearch官方提供的repositories安装，具体安装方法情参考官方指南。另一种是通过下载软件包在以解压的方式安装。 不管使用那种安装方式，完全取决你自己的喜好与具体需求，由于第二种...
2015-12-25 23:22:10
107
原创 二、ElasticSearch 国内外优秀案例有哪些
Elasticsearch优秀案例GithubGithub：GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码。 FoursquareFoursquare：实时搜索5千万地理位置信息？Foursquare每天使用ElasticSearch做到了。 SoundCloudSoundCloud：So...
2015-12-25 23:14:37
716
原创 一、分布式 搜索引擎 ElasticSearch 前世今生
ElasticSearch 是一个基于Lucene构建的开源的、分布式的、RESTful API 式的搜索服务器，是开源搜索平台的新成员，实时数据分析的神器，具备高可靠性，用于云计算，能够达到实时搜索且稳定，可靠的快速服务。 Elasticsearch 近几年发展迅猛，可以从以下几点便可明白elasticsearch所受的关注度是很高的。 2012年11月，Elas...
2015-12-25 23:12:56
345
原创 三、Elasticsearch 一些概念 你要明白
一、Elasticsearch集群的概念（cluster）在一个分布式系统里面,可以通过多个elasticsearch运行实例组成一个集群,这个集群里面有一个节点叫做主节点(master),elasticsearch是去中心化的,所以这里的主节点是动态选举出来的,不存在单点故障。 在同一个子网内，只需要在每个节点上设置相同的集群名,elasticsearch就会自动的把这些集...
2015-12-25 23:09:02
315
原创 Hive UDF 调用读取 程序包外的文件
如何编写UDF我就不赘述了，网上资料大把。贴一个参考链接直接略过。 主要讨论两个点，是开发过程中遇到的难点。1. UDF读取外部资源。2. 外部资源存放位置。 为什么会遇到这两个问题？ 开发UDF的目的就是为了扩展数据库一些没有的功能。常用功能例如count,sum这些，但是偶尔会遇到一些复杂的计算数据库没有直接实现的函数，解决方法一是直接读取数据然后用程序...
2015-12-08 21:28:52
1922
原创 Hive 自定义UDF UDAF UDTF
UDF步骤：UDF(User-Defined-Function) 用来解决 一行输入一行输出(On-to-On maping) 的需求。1.继承org.apache.hadoop.hive.ql.exec.UDF2.实现evaluate函数，evaluate函数支持重载[java] view plaincopy package cn.si...
2015-11-05 10:21:46
148
原创 分区表、分区索引和全局索引部分总结
分区表、分区索引和全局索引： 在一个表的数据超过过2000万条或占用2G空间时，建议建立分区表。 create table ta(c1 int,c2 varchar2(16),c3 varchar2(64),c4 int constraint pk_ta primary key (c1)) partition by range(c1)(partition p1...
2015-10-20 17:35:44
1908
原创 JS 动态获取对象多级属性
var obj={ f1:{f2:{f3:2}}} var key="f1.f2.f3" var value=eval("obj."+key); console.log(value); 来点变态的 var obj={ f1:{ f2:{ f3:2, ...
2015-09-18 23:12:58
2126
原创 hbase日常操作以及日常维护
出自：http://my.oschina.net/beiyou/blog/76456 一，基本命令： 建表：create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLI...
2015-09-05 13:11:11
124
原创 HBase一次慢查询请求的问题排查与解决过程
出自: http://www.cnblogs.com/panfeng412/archive/2013/06/08/hbase-slow-query-troubleshooting.html最近HBase集群遇到过一次慢查询请求的问题，下面是对这一问题的具体描述及排查解决过程。1. 发现问题项目中有一张HBase表，每天凌晨以后会集中批量导入一批数据，导入数据量很大，在千万到亿的量级，...
2015-09-03 19:41:51
704
原创 使用 Apache Lucene 和 Solr 4 实现下一代搜索和分析
转自IBM：http://www.ibm.com/developerworks/cn/java/j-solr-lucene/ 我 6 年前开始为 developerWorks 编写 Solr 和 Lucene（参见 参考资料）。这些年来，Lucene 和 Solr 将自身建设成了一项坚不可摧的技术（Lucene 作为 Java™ API 的基础，Solr 作为搜索服务）。举例而言，它们...
2015-09-01 23:47:37
146
Flex3 Style Explorer
2010-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人