自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 资源 (4)
  • 收藏
  • 关注

转载 linux性能分析及调优__cpu 性能瓶颈调优可调性能参数 、内存性能瓶颈可调性能参数(操作系统设置swap的目的、在写程序时、如何使自己的内存不被换出swap,常驻物理内存)、磁盘I/O可调性能参

第一节:cpu 性能瓶颈 计算机中,cpu是最重要的一个子系统,负责所有计算任务;基于摩尔定律的发展,cpu是发展最快的一个硬件,所以瓶颈很少出现在cpu上;我们线上环境的cpu都是多核的,并且基于SMP(symmetric multiprocessing)结构的。通过观察线上机器cpu使用率会发现,使用率很低很低,不到5%; 说明我们的资源浪费情况多么严重啊;(但为什

2016-05-28 22:53:39 2750

转载 HBase 超详细介绍

1-HBase的安装HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来

2016-05-25 10:09:41 785

转载 Hbase shell 常用命令

Hbase shell 常用命令(1)学习笔记,转自:http://blog.csdn.net/scutshuxue/article/details/6988348 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表

2016-05-24 15:29:50 429

转载 windows下SecureCRT无法使用backspace(空格键)和上下左右键标签

windows下SecureCRT无法使用backspace(空格键)和上下左右键标签: SecureCRTterminalbackspace终端删除2014-03-08 22:53 7745人阅读 评论(1) 收藏 举报 分类: linux(17) 版权声明:本文为博主原创文章,未经博主允许不得转载。在使用SecureCRT登陆liunx(我的为CenterOS)系统,发现删除(backspac

2016-05-24 13:44:45 2128

转载 Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯

Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯时间 2014-07-04 23:04:00 博客园精华区原文  http://www.cnblogs.com/lxf20061900/p/3813492.html 主题 Flume 双端队列SpillableMemoryChannel是1.5版本新增

2016-05-20 13:38:47 883

转载 Ambari——大数据平台的搭建利器之进阶篇

Ambari——大数据平台的搭建利器之进阶篇[日期:2015-07-14]来源:IBM  作者:[字体:大 中 小]  Ambari 的现状  目前 Apache Ambari 的最高版本是 2.0.1,最高的 Stack 版本是 HDP 2.2。未来不久将会发布 Ambari 2.1 以及 HDP 2.3(本文也将以 Ambari 2.0.

2016-05-20 10:20:19 939

转载 Flume-ng HDFS Sink “丢数据”

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1308188线上对Flume流入HDFS配置path:p1,每分钟切一个文件,定期从p1从move完成的(rename)文件到外部表进行计算分析,发现有“丢数据”现象:即在p1下经常看到几GB的.t

2016-05-17 15:48:26 4441

转载 Flume-ng HDFS sink原理解析

Flume-ng HDFS sink原理解析 2013-09-18 11:41:25标签:flumehdfs sink 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1298627http://boylook.itpub.net/po

2016-05-17 15:31:08 925

转载 Centos内存管理-free命令

Centos内存管理-free命令    一 free内存管理   作为一名linux系统管理员,监控内存的使用状态是非常重要的,通过监控有助于了解内存的使用状态,比如内存占用是否正常,内存是否紧缺等等,监控内存最常使用的命令有free、top等,下面是某个系统free的输出:  []#free   total        used         free     

2016-05-12 11:01:27 767

转载 Host Health Tests

DocumentationCloudera OperationCloudera Manager Health TestsNext TopicPrevious TopicPrintHost Health TestsHost Agent Log DirectoryThis is a host health test that checks that th

2016-05-11 16:01:34 6578

转载 linux系统swappiness参数在内存与交换分区间优化

linux系统swappiness参数在内存与交换分区间优化2014-08-14 10:24:19 分类: Linux       swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存,然后才是 swap空间,swappiness=100的时候表示积极的使用swap分区,并且把内存上的数据及时的搬

2016-05-11 15:58:27 3098

转载 各hbase版本对hadoop各版本的支持情况

http://hbase.apache.org/book.html#configuration HadoopThe following table summarizes the versions of Hadoop supported with each version of HBase. Based on the version of HBase, you should sele

2016-05-06 10:42:54 17430

转载 Linux与JVM的内存关系分析

引言 在一些物理内存为8g的服务器上,主要运行一个Java服务,系统内存分配如下:Java服务的JVM堆大小设置为6g,一个监控进程占用大约 600m,Linux自身使用大约800m。从表面上,物理内存应该是足够使用的;但实际运行的情况是,会发生大量使用SWAP(说明物理内存不够使用 了),如下图所示。同时,由于SWAP和GC同时发生会致使JVM严重卡顿,所以我们要追问:内存究竟去哪儿了?

2016-05-05 10:58:29 811

转载 Apache Spark在SnappyData支持即时SQL分析

Pivotal’s GemFire的基于内存数据存储团队最近发布了一种新的数据库解决方案,叫做SnappyData,基于GemFire 和 Apache Spark。SnappyData是最近又出现的一个使用Spark作为组件的数据库解决方案。这种使用Spark的方案中,有一些使用了Apache Hadoop的技术。SnappyData的查询可以使用传统的SQL语句,或者使用Spark的查询,

2016-05-03 19:58:18 4546

转载 Spark 数据ETL及部分代码示例

问题导读:1.数据如何处理?2.从数据中如何提取有用的特征?3.有哪些衍生特征?数据处理以及转化1、当我们完成了一些对数据集的探索和分析,我们知道了一些关于用户数据以及电影数据的特征,接下来我们该做些什么呢? 2、为了让原始数据能够在机器学习算法中变得有用,我们首先需要清理以及在提取有用的特征值之前使用各种

2016-05-03 19:51:55 5226

转载 MessagePack, Protocol Buffers和Thrift序列化框架原理和比较说明

MessagePackProtocol Buffers和Thrift序列化 第1部分 messagepack说明1.1messagepack的消息编码说明为什么messagepack比json序列化使用的字节流更少, 可通过图1-1、图1-2有个直观的感觉。  图1- 1 messagepack与json的格式对比1 图1- 

2016-05-03 17:39:51 2278

2007年下半年系统分析师下午试卷Ⅱ.doc

2007年下半年系统分析师下午试卷Ⅱ.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅰ.doc

2007年下半年系统分析师下午试卷Ⅰ.doc

2007-11-21

2007年下半年系统分析师上午试卷.doc

2007年下半年系统分析师上午试卷.doc

2007-11-21

2007年下半年系统分析师考试试题分析.doc

2007年下半年系统分析师考试试题分析.doc

2007-11-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除