自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(83)
  • 收藏
  • 关注

转载 Docker 零碎

Delete none tag docker image:$ docker stop $(docker ps -a | grep "Exited" | awk '{print $1 }') //停止容器$ docker rm $(docker ps -a | grep "Exited" | awk '{print $1 }') //删除容器 $ docker rmi $(docke...

2019-07-19 10:44:00 204

转载 MySQL 5.7新特性之generated column

MySQL 5.7引入了generated column,这篇文章简单地介绍了generated column的使用方法和注意事项,为读者了解MySQL 5.7提供一个快速的、完整的教程。这篇文章围绕以下几个问题展开:generated column是什么virtual column与stored column的区别如果我对generated column做一些破坏行为会...

2017-09-29 08:34:00 589

转载 如何查看MySQL单个数据库或者表的大小

总体来说,这些信息存在于information_schema数据库的TABLES表中mysql> desc information_schema.TABLES;+-----------------+---------------------+------+-----+---------+-------+| Field | Type ...

2017-09-22 10:33:00 421

转载 SQL 四大功能DDL/DML/DCL/TCL

SQL主要分成四部分:(1)数据定义。(SQL DDL)用于定义SQL模式、基本表、视图和索引的创建和撤消操作。(2)数据操纵。(SQL DML)数据操纵分成数据查询和数据更新两类。数据更新又分成插入、删除、和修改三种操作。(3)数据控制。包括对基本表和视图的授权,完整性规则的描述,事务控制等内容。(4)嵌入式SQL的使用规定。涉及到SQL语句嵌入在宿主语言程序中使用的规则。 1.DDL...

2017-09-22 10:02:00 456

转载 Ubuntu下开启Mysql远程访问的方法

首先想说,JetProfiler对分析项目中MySQL问题以及优化,是个非常好的工具。但是看网上文章,中文介绍真的不多。是因为国内现在都不用MySQL了吗?因为公司JetProfiler是共用的,安装于公共VM,需要从VM监控本机MySQL。MySQL本身默认设置是不对外开放访问功能的,在MySQL配置文件中,会发现 bind-address = 127.0.0.1开启MySQL...

2017-08-22 11:35:00 159

转载 HBase修改压缩格式及Snappy压缩实测分享

一、要点有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法,如果想安装Snappy,可以参看Hadoop HBase 配置 安装 Snappy 终极教程。1. HBase修改Table压缩格式步骤2. 实测结果分享二、HBase修改Table压缩格式步骤修改HBase压缩算法很简单,只需要如下几步:1. hbase shell命令下,disable...

2013-07-17 13:24:00 599

转载 Google Protocol Buffers 编码(Encoding)

1. 概述前三篇文章《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》 一步一步将大家带入Protocol Buffers的世界,我们已经基本能够使用Protocol Buffers生成代码,编码,解析,输出级读入序列化数据。该篇主要讲述PB message的底层二进制格式。不...

2013-04-12 21:46:00 184

转载 Protocol Buffers 语法指南

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Google Protocol Buffers 语法指南推荐阅读顺序,希望给你带来收获~《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》《Google Protocol ...

2013-04-12 00:05:00 107

转载 Google Protocol Buffers 入门

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Google Protocol Buffers 入门推荐阅读顺序,希望给你带来收获~《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》《Google Protocol Bu...

2013-04-10 10:30:00 213

转载 Google Protocol Buffers 概述

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Google Protocol Buffers 概述推荐阅读顺序,希望给你带来收获~《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》《Google Protocol Bu...

2013-04-08 09:55:00 111

转载 Hadoop迁移Namenode

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Hadoop迁移Namenode一.前提及方案操作版本:社区版 Hadoop-1.0.3,其他版本不保证之前HBase没有考虑压缩,经过一段时间的研究和测试,打算在HBase中全面采用snappy压缩库。但是在节点上配置snappy时,发现其要求glibc版本在2.5+,而当前系统Cen...

2013-03-19 10:07:00 162

转载 一句话一个点

cat a|python -m json.toolHBase don't split a single row.JVM中CMS全拼concurrent (low pause time) garbage collector (also known as CMS)mvn clean install -DskipTestsfdisk -lnetstat -tunlpne...

2013-02-28 17:40:00 120

转载 [Hadoop源码详解]之一MapReduce篇之InputFormat

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:[Hadoop源码详解]之一MapReduce篇之InputFormat1. 概述我们在设置MapReduce输入格式的时候,会调用这样一条语句:job.setInputFormatClass(KeyValueTextInputFormat.class);这条语句保证了输入文件...

2013-02-28 08:52:00 329

转载 MapReduce生成HFile入库到HBase

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:MapReduce生成HFile入库到HBase一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。2...

2013-02-20 11:01:00 208

转载 深入理解HBase Memstore

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:深入理解HBase MemstoreMemStore是HBase非常重要的组成部分,深入理解MemStore的运行机制、工作原理、相关配置,对HBase集群管理以及性能调优有非常重要的帮助。HBaseMemstore首先通过简单介绍HBase的读写过程来理解一下MemSt...

2013-02-05 10:01:00 874

转载 Hadoop HBase 配置 安装 Snappy 终极教程

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn该博文已更新,更新文章地址:Hadoop HBase 配置 安装 Snappy 终极教程  因为产品需要,这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比,单是这个安装过程,就很痛苦。网上有很多博友写Hadoop Snappy安装过程,大部分是照着Google的文档翻译了一遍,...

2013-01-14 14:53:00 199

转载 HDFS学习(三) – Namenode and Datanode

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn博文有更新并添加了新的内容,详细请访问:HDFS学习(三) – Namenode and Datanode  HDFS集群以Master-Slave模式运行,主要有两类节点:一个Namenode(即Master)和多个Datanode(即Slave)。  HDFS Architecture:Na...

2013-01-07 10:06:00 107

转载 HDFS学习(二) – HDFS Block介绍

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:HDFS学习(二) – HDFS Block介绍Block概念磁盘有一个Block size的概念,它是磁盘读/写数据的最小单位。构建在这样的磁盘上的文件系统也是通过块来管理数据的,文件系统的块通常是磁盘块的整数倍。文件系统的块一般为几千字节(byte),磁盘块一般为512字节(byte...

2013-01-06 09:59:00 225

转载 Hadoop Snappy安装错误锦集

在HBASE压缩算法-SNAPPY算法安装这片文章中,介绍了Snappy压缩的安装方法,但是安装并非一帆风顺,中间也是各种问题频出,现将遇到的问题罗列如下:1./root/modules/hadoop-snappy/maven/build-compilenative.xml:62: Execute failed: java.io.IOException: Cannot run pro...

2013-01-05 15:08:00 174

转载 编译时autoconf问题

这个是因为编译的时候带了native 参数,但是没装autotool。Centos下。yum install autoconfyum install automakeyum install libtool <---这个里面有 autoreconf还是不行就 -P-cbuild 编译吧,别用native了。转载于:https://www.cn...

2013-01-05 12:25:00 102

转载 HDFS学习(一) - HDFS设计

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:HDFS学习(一) – HDFS设计我们都知道,Hadoop除了计算部分Mapreduce外,还有一个分布式文件系统HDFS,全称Hadoop Distributed Filesystem。《Hadoop 权威指南》上用这么一句话来描述HDFS:HDFS is a filesystem ...

2013-01-05 10:19:00 131

转载 HDFS Federation设计动机与基本原理

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:HDFS学习(四) – HDFS Federation  HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federatio...

2013-01-04 15:20:00 164

转载 深入理解 Java中的 流 (Stream)

个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:深入理解 Java中的 流(Stream)机制最近在看《Hadoop:The Definitive Guide》,对其分布式文件系统HDFS的Streaming data access不能理解。基于流的数据读写,太抽象了,什么叫基于流,什么是流?Hadoop是Java语言写的,所以想理解好Had...

2012-12-19 08:51:00 2051

转载 Ubuntu11.10 Eclipse 提示框 为黑色 解决方案

ubuntu下eclipse提示框背景色为黑色看起来很不舒服,这是因为eclipse默认使用系统的主题,ubuntu11.10以前的版本可以通过 系统设置>外观>修改主题 自定义颜色来修改。但ubuntu11.10下不再提供直接修改主题的接口,只能修改文件:1 # 其中Ambiance是系统所使用的主题2 cd /usr/share/themes/Ambiance...

2012-11-22 09:30:00 110

转载 SpringSource Tools Suite 字体偏小问题

参照了Eclipse小技巧收录http://liuzidong.iteye.com/blog/1320094发现没有找到相应文件,只有搜索了,一个一个地找,总算找到了,修改方法还是一样,只是路径,文件变了名字而已!在修改前请关闭SpringSource Tools Suite1 位置:springsource2.9\sts-2.9.1.RELEASE\plugins2 修改的ja...

2012-11-16 17:10:00 144

转载 Redis 简介 安装 配置

1. Redis简介Redis是一种高级 key-value 数据库。它跟 memcached 类似,不过数据可以持久化,而且支持的数据类型很丰富。它在保持键值数据库简单快捷特点的同时,又吸收了部分关系数据库的优点。从而使它的位置处于关系数据库和键值数据库之间。Redis不仅能保存Strings类型的数据,还能保存Lists类型(有序)和Sets类型(无序)的数据,而且还能完成排序(...

2012-11-16 14:32:00 67

转载 Eclipse 插件 中英文 设置

在Eclipse的configuration文件下找到config.ini文件,用写字板打开,在最后面添加上如下代码即可:1. 下面配置是设置SVN插件为英文菜单:#SetSubversionEnglishVersionosgi.nl=en_US 2. 下面配置是摄自SVN插件为中文菜单:#SetSubversionEnglishVe...

2012-11-15 13:14:00 80

转载 Memcached真的过时了吗?

这两年Redis火得可以,Redis也常常被当作Memcached的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而,Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗?下面内容来自Redis作者在stackoverflow上的一个回答,对应的问题是《Is memcached a dinosaur in comparison to...

2012-11-14 18:16:00 75

转载 linux 性能检测工具 dstat

这几天在做lamp性能调优,对系统性能检测使用top vmstat 发现非常不妨便,在刚开会的时候, @mandahang 介绍了一个软件 dstat,用起来感觉还真不错。下面则对dstat 做下简单的介绍:一、安装1.在centos下 可以 yum -y instatll dstat2. 下载rpm包进行安装wget http://packages.sw.be/...

2012-10-30 18:02:00 92

转载 服务器 交换分区(Swap) 设置

周末的时候HBase集群一台子节点宕机,查看Ganglia及内存使用情况,发现节点Swap空间耗尽,但奇怪的是,系统物理内存却还是非常的富足。我们都知道Swap空间的作用:Swap空间的作用可简单描述为:当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序,这些被释放的空间被临时保存到...

2012-10-29 12:16:00 274

转载 HBase 源码本地调试

本地环境:Win7,配置安装Cygwin,Maven。调试环境:Spring Source Tool Suite(也就是Eclipse)HBase版本: 0.94.2OK,闲话少说,开始~~1. 配置EclipseM2_REPO 变量,如果是Eclipse,估计要配,如果是Spring Source Tool Suite,就不用了,已经集成好了2. 在Eclip...

2012-10-24 12:25:00 113

转载 JVM基础:深入学习JVM堆与JVM栈

以前堆是干啥栈是干啥都知道,就是没连在一起想想。感觉讲的不错的一篇儿~~转自:http://developer.51cto.com/art/201009/227812.htmJVM栈解决程序的运行问题,即程序如何执行,或者说如何处理数据;JVM堆解决的是数据存储的问题,即数据怎么放、放在哪儿,另外JVM堆中存的是对象。JVM栈中存的是基本数据类型和JVM堆中对象的引用。JVM...

2012-10-12 19:06:00 68

转载 JVM启动参数大全

转自:http://www.blogjava.net/midstr/archive/2008/09/21/230265.html前段时间系统升级时遭遇了OOM,具体解决过程见遭遇OutOfMemoryError;为了巩固对于java启动各项参数的认识,决定将所有参数列举出来,并一一解释,以便后查;java启动参数共分为三类;其一是标准参数(-),所有的JVM实现都必须实现这些参...

2012-10-12 15:04:00 75

转载 Linux/Unix下设置定时任务

转自:http://www.taobaotest.com/blogs/qa?bid=9189#more-9189Unix系统提供了cron和at命令,使系统和用户可以定时运行一定的程序,而不需手工启动。使用cron用于周期性的执行一个命令,为了使用它,必须编辑crontab文件。系统缺省的/etc/crontab 文件为:为当前用户创建cron服务1. 键入 cr...

2012-10-11 11:29:00 68

转载 region split时metascan出现regioninfo为空

转自http://bupt04406.iteye.com/blog/1601372最近测试94版本时,出现过多次HRegionInfo was null or empty in Meta 的异常WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: En...

2012-09-20 18:06:00 92

转载 Google Dremel 原理 - 如何能3秒分析1PB

转自:http://www.yankay.com/google-dremel-rationale/简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。Dreme...

2012-08-24 14:32:00 84

转载 HBase 性能优化笔记

不断更新...1 hbase.hregion.max.filesize应该设置多少合适2 autoflush=false的影响3 从性能的角度谈table中family和qualifier的设置4 hbase.regionserver.handler.count详解1 hbase.hregion.max.filesize应该设置多少合适默认值:256M说明:Ma...

2012-08-07 11:16:00 199

转载 支付宝代志远:HBase系统故障恢复的优化实践分享

转自:http://news.csdn.net/a/20120523/2805879.html【CSDN现场报道】第四届中国云计算大会将于2012年5月23-25日在北京国家会议中心隆重举行。本次大会由中国电子学会主办,北京市经济和信息化委员会协办,中国云计算技术与产业联盟、中国电子学会云计算专家委员会承办,CSDN与《程序员》杂志协办。在2012国内公共云全面开花、云计算实践元年之...

2012-07-23 14:26:00 247

转载 [转载]定制CentOS 6.3 自动安装盘

一、之前有写过一篇管理定制CentOS5.6的文章,最近公司外网生产环境准备用CentOS6系列的,手动安装是在是太麻烦,所以就又研究了一些6系列的封装,其实和5系列的差不多,就是有几个文件不一样,还有就是ks.cfg这个文件我又更新了新内容。二、开始定制1、安装需要的用到的软件包[root@localhost ~]# yum -y install createrepo ...

2012-07-22 23:17:00 77

转载 Missing indirectly referenced artifact com.sun:tools:jar:1.5.0:system 错误

其实很早就遇到过这个错误,一直都没有解决,今天再次看到决心干掉它。网上给出的答案,大多都是如下的解决方案,我不知道他们是不是解决了,但是在我这行不通!当使用eclipse的maven:出现Missing indirectly referenced artifact com.sun:tools:jar:1.5.0:system 错误在eclipse.ini中用-vm指定java...

2012-07-22 18:14:00 93

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除