- 博客(16)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 linux性能分析及调优__cpu 性能瓶颈调优可调性能参数 、内存性能瓶颈可调性能参数(操作系统设置swap的目的、在写程序时、如何使自己的内存不被换出swap，常驻物理内存)、磁盘I/O可调性能参
第一节：cpu 性能瓶颈 计算机中，cpu是最重要的一个子系统，负责所有计算任务；基于摩尔定律的发展，cpu是发展最快的一个硬件，所以瓶颈很少出现在cpu上；我们线上环境的cpu都是多核的，并且基于SMP(symmetric multiprocessing)结构的。通过观察线上机器cpu使用率会发现，使用率很低很低，不到5%； 说明我们的资源浪费情况多么严重啊；(但为什
2016-05-28 22:53:39
2752
转载 HBase 超详细介绍
1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来
2016-05-25 10:09:41
785
转载 Hbase shell 常用命令
Hbase shell 常用命令（1）学习笔记，转自：http://blog.csdn.net/scutshuxue/article/details/6988348 下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表
2016-05-24 15:29:50
429
转载 windows下SecureCRT无法使用backspace（空格键）和上下左右键标签
windows下SecureCRT无法使用backspace（空格键）和上下左右键标签： SecureCRTterminalbackspace终端删除2014-03-08 22:53 7745人阅读 评论(1) 收藏 举报 分类： linux（17） 版权声明：本文为博主原创文章，未经博主允许不得转载。在使用SecureCRT登陆liunx（我的为CenterOS）系统，发现删除(backspac
2016-05-24 13:44:45
2128
转载 Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯
Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析 - 玖疯时间 2014-07-04 23:04:00 博客园精华区原文 http://www.cnblogs.com/lxf20061900/p/3813492.html 主题 Flume 双端队列SpillableMemoryChannel是1.5版本新增
2016-05-20 13:38:47
883
转载 Ambari——大数据平台的搭建利器之进阶篇
Ambari——大数据平台的搭建利器之进阶篇[日期：2015-07-14]来源：IBM 作者：[字体：大 中 小] Ambari 的现状 目前 Apache Ambari 的最高版本是 2.0.1，最高的 Stack 版本是 HDP 2.2。未来不久将会发布 Ambari 2.1 以及 HDP 2.3(本文也将以 Ambari 2.0.
2016-05-20 10:20:19
939
转载 Flume-ng HDFS Sink “丢数据”
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1308188线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.t
2016-05-17 15:48:26
4442
转载 Flume-ng HDFS sink原理解析
Flume-ng HDFS sink原理解析 2013-09-18 11:41:25标签：flumehdfs sink 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://boylook.blog.51cto.com/7934327/1298627http://boylook.itpub.net/po
2016-05-17 15:31:08
925
转载 Centos内存管理-free命令
Centos内存管理-free命令 一 free内存管理 作为一名linux系统管理员，监控内存的使用状态是非常重要的，通过监控有助于了解内存的使用状态，比如内存占用是否正常，内存是否紧缺等等，监控内存最常使用的命令有free、top等，下面是某个系统free的输出： []#free total used free
2016-05-12 11:01:27
767
转载 Host Health Tests
DocumentationCloudera OperationCloudera Manager Health TestsNext TopicPrevious TopicPrintHost Health TestsHost Agent Log DirectoryThis is a host health test that checks that th
2016-05-11 16:01:34
6578
转载 linux系统swappiness参数在内存与交换分区间优化
linux系统swappiness参数在内存与交换分区间优化2014-08-14 10:24:19 分类： Linux swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存，然后才是 swap空间，swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬
2016-05-11 15:58:27
3098
转载 各hbase版本对hadoop各版本的支持情况
http://hbase.apache.org/book.html#configuration HadoopThe following table summarizes the versions of Hadoop supported with each version of HBase. Based on the version of HBase, you should sele
2016-05-06 10:42:54
17430
转载 Linux与JVM的内存关系分析
引言 在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的；但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。同时，由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了？
2016-05-05 10:58:29
811
转载 Apache Spark在SnappyData支持即时SQL分析
Pivotal’s GemFire的基于内存数据存储团队最近发布了一种新的数据库解决方案，叫做SnappyData,基于GemFire 和 Apache Spark。SnappyData是最近又出现的一个使用Spark作为组件的数据库解决方案。这种使用Spark的方案中，有一些使用了Apache Hadoop的技术。SnappyData的查询可以使用传统的SQL语句，或者使用Spark的查询，
2016-05-03 19:58:18
4546
转载 Spark 数据ETL及部分代码示例
问题导读：1.数据如何处理？2.从数据中如何提取有用的特征？3.有哪些衍生特征？数据处理以及转化1、当我们完成了一些对数据集的探索和分析，我们知道了一些关于用户数据以及电影数据的特征，接下来我们该做些什么呢？ 2、为了让原始数据能够在机器学习算法中变得有用，我们首先需要清理以及在提取有用的特征值之前使用各种
2016-05-03 19:51:55
5226
转载 MessagePack, Protocol Buffers和Thrift序列化框架原理和比较说明
MessagePackProtocol Buffers和Thrift序列化 第1部分 messagepack说明1.1messagepack的消息编码说明为什么messagepack比json序列化使用的字节流更少， 可通过图1-1、图1-2有个直观的感觉。 图1- 1 messagepack与json的格式对比1 图1-
2016-05-03 17:39:51
2278
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人