- 博客(83)
- 收藏
- 关注
RSS订阅转载 Docker 零碎
Delete none tag docker image:$ docker stop $(docker ps -a | grep "Exited" | awk '{print $1 }') //停止容器$ docker rm $(docker ps -a | grep "Exited" | awk '{print $1 }') //删除容器 $ docker rmi $(docke...
2019-07-19 10:44:00
204
转载 MySQL 5.7新特性之generated column
MySQL 5.7引入了generated column，这篇文章简单地介绍了generated column的使用方法和注意事项，为读者了解MySQL 5.7提供一个快速的、完整的教程。这篇文章围绕以下几个问题展开：generated column是什么virtual column与stored column的区别如果我对generated column做一些破坏行为会...
2017-09-29 08:34:00
589
转载 如何查看MySQL单个数据库或者表的大小
总体来说，这些信息存在于information_schema数据库的TABLES表中mysql> desc information_schema.TABLES;+-----------------+---------------------+------+-----+---------+-------+| Field | Type ...
2017-09-22 10:33:00
421
转载 SQL 四大功能DDL/DML/DCL/TCL
SQL主要分成四部分：（1）数据定义。（SQL DDL）用于定义SQL模式、基本表、视图和索引的创建和撤消操作。（2）数据操纵。（SQL DML）数据操纵分成数据查询和数据更新两类。数据更新又分成插入、删除、和修改三种操作。（3）数据控制。包括对基本表和视图的授权，完整性规则的描述，事务控制等内容。（4）嵌入式SQL的使用规定。涉及到SQL语句嵌入在宿主语言程序中使用的规则。 1.DDL...
2017-09-22 10:02:00
456
转载 Ubuntu下开启Mysql远程访问的方法
首先想说，JetProfiler对分析项目中MySQL问题以及优化，是个非常好的工具。但是看网上文章，中文介绍真的不多。是因为国内现在都不用MySQL了吗？因为公司JetProfiler是共用的，安装于公共VM，需要从VM监控本机MySQL。MySQL本身默认设置是不对外开放访问功能的，在MySQL配置文件中，会发现 bind-address = 127.0.0.1开启MySQL...
2017-08-22 11:35:00
159
转载 HBase修改压缩格式及Snappy压缩实测分享
一、要点有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法，如果想安装Snappy，可以参看Hadoop HBase 配置 安装 Snappy 终极教程。1. HBase修改Table压缩格式步骤2. 实测结果分享二、HBase修改Table压缩格式步骤修改HBase压缩算法很简单，只需要如下几步：1. hbase shell命令下，disable...
2013-07-17 13:24:00
599
转载 Google Protocol Buffers 编码(Encoding)
1. 概述前三篇文章《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》 一步一步将大家带入Protocol Buffers的世界，我们已经基本能够使用Protocol Buffers生成代码，编码，解析，输出级读入序列化数据。该篇主要讲述PB message的底层二进制格式。不...
2013-04-12 21:46:00
184
转载 Protocol Buffers 语法指南
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：Google Protocol Buffers 语法指南推荐阅读顺序，希望给你带来收获~《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》《Google Protocol ...
2013-04-12 00:05:00
107
转载 Google Protocol Buffers 入门
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：Google Protocol Buffers 入门推荐阅读顺序，希望给你带来收获~《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》《Google Protocol Bu...
2013-04-10 10:30:00
214
转载 Google Protocol Buffers 概述
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：Google Protocol Buffers 概述推荐阅读顺序，希望给你带来收获~《Google Protocol Buffers 概述》《Google Protocol Buffers 入门》《Protocol Buffers 语法指南》《Google Protocol Bu...
2013-04-08 09:55:00
111
转载 Hadoop迁移Namenode
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：Hadoop迁移Namenode一.前提及方案操作版本:社区版 Hadoop-1.0.3，其他版本不保证之前HBase没有考虑压缩，经过一段时间的研究和测试，打算在HBase中全面采用snappy压缩库。但是在节点上配置snappy时，发现其要求glibc版本在2.5+，而当前系统Cen...
2013-03-19 10:07:00
162
转载 一句话一个点
cat a|python -m json.toolHBase don't split a single row.JVM中CMS全拼concurrent (low pause time) garbage collector (also known as CMS)mvn clean install -DskipTestsfdisk -lnetstat -tunlpne...
2013-02-28 17:40:00
120
转载 [Hadoop源码详解]之一MapReduce篇之InputFormat
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：[Hadoop源码详解]之一MapReduce篇之InputFormat1. 概述我们在设置MapReduce输入格式的时候，会调用这样一条语句：job.setInputFormatClass(KeyValueTextInputFormat.class);这条语句保证了输入文件...
2013-02-28 08:52:00
329
转载 MapReduce生成HFile入库到HBase
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：MapReduce生成HFile入库到HBase一、这种方式有很多的优点：1. 如果我们一次性入库hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。2...
2013-02-20 11:01:00
208
转载 深入理解HBase Memstore
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：深入理解HBase MemstoreMemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBaseMemstore首先通过简单介绍HBase的读写过程来理解一下MemSt...
2013-02-05 10:01:00
874
转载 Hadoop HBase 配置 安装 Snappy 终极教程
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn该博文已更新，更新文章地址：Hadoop HBase 配置 安装 Snappy 终极教程 因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写Hadoop Snappy安装过程，大部分是照着Google的文档翻译了一遍，...
2013-01-14 14:53:00
199
转载 HDFS学习(三) – Namenode and Datanode
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn博文有更新并添加了新的内容，详细请访问：HDFS学习(三) – Namenode and Datanode HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。 HDFS Architecture：Na...
2013-01-07 10:06:00
107
转载 HDFS学习(二) – HDFS Block介绍
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：HDFS学习(二) – HDFS Block介绍Block概念磁盘有一个Block size的概念，它是磁盘读/写数据的最小单位。构建在这样的磁盘上的文件系统也是通过块来管理数据的，文件系统的块通常是磁盘块的整数倍。文件系统的块一般为几千字节(byte)，磁盘块一般为512字节(byte...
2013-01-06 09:59:00
225
转载 Hadoop Snappy安装错误锦集
在HBASE压缩算法-SNAPPY算法安装这片文章中，介绍了Snappy压缩的安装方法，但是安装并非一帆风顺，中间也是各种问题频出，现将遇到的问题罗列如下：1./root/modules/hadoop-snappy/maven/build-compilenative.xml:62: Execute failed: java.io.IOException: Cannot run pro...
2013-01-05 15:08:00
176
转载 编译时autoconf问题
这个是因为编译的时候带了native 参数，但是没装autotool。Centos下。yum install autoconfyum install automakeyum install libtool <---这个里面有 autoreconf还是不行就 -P-cbuild 编译吧，别用native了。转载于:https://www.cn...
2013-01-05 12:25:00
102
转载 HDFS学习(一) - HDFS设计
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：HDFS学习(一) – HDFS设计我们都知道，Hadoop除了计算部分Mapreduce外，还有一个分布式文件系统HDFS，全称Hadoop Distributed Filesystem。《Hadoop 权威指南》上用这么一句话来描述HDFS：HDFS is a filesystem ...
2013-01-05 10:19:00
131
转载 HDFS Federation设计动机与基本原理
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：HDFS学习(四) – HDFS Federation HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federatio...
2013-01-04 15:20:00
164
转载 深入理解 Java中的 流 (Stream)
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址：深入理解 Java中的 流(Stream)机制最近在看《Hadoop:The Definitive Guide》，对其分布式文件系统HDFS的Streaming data access不能理解。基于流的数据读写，太抽象了，什么叫基于流，什么是流？Hadoop是Java语言写的，所以想理解好Had...
2012-12-19 08:51:00
2052
转载 Ubuntu11.10 Eclipse 提示框 为黑色 解决方案
ubuntu下eclipse提示框背景色为黑色看起来很不舒服，这是因为eclipse默认使用系统的主题，ubuntu11.10以前的版本可以通过 系统设置>外观>修改主题 自定义颜色来修改。但ubuntu11.10下不再提供直接修改主题的接口，只能修改文件：1 # 其中Ambiance是系统所使用的主题2 cd /usr/share/themes/Ambiance...
2012-11-22 09:30:00
110
转载 SpringSource Tools Suite 字体偏小问题
参照了Eclipse小技巧收录http://liuzidong.iteye.com/blog/1320094发现没有找到相应文件，只有搜索了，一个一个地找，总算找到了，修改方法还是一样，只是路径，文件变了名字而已！在修改前请关闭SpringSource Tools Suite1 位置：springsource2.9\sts-2.9.1.RELEASE\plugins2 修改的ja...
2012-11-16 17:10:00
144
转载 Redis 简介 安装 配置
1. Redis简介Redis是一种高级 key-value 数据库。它跟 memcached 类似，不过数据可以持久化，而且支持的数据类型很丰富。它在保持键值数据库简单快捷特点的同时，又吸收了部分关系数据库的优点。从而使它的位置处于关系数据库和键值数据库之间。Redis不仅能保存Strings类型的数据，还能保存Lists类型（有序）和Sets类型（无序）的数据，而且还能完成排序（...
2012-11-16 14:32:00
67
转载 Eclipse 插件 中英文 设置
在Eclipse的configuration文件下找到config.ini文件，用写字板打开，在最后面添加上如下代码即可：1. 下面配置是设置SVN插件为英文菜单：#SetSubversionEnglishVersionosgi.nl=en_US 2. 下面配置是摄自SVN插件为中文菜单：#SetSubversionEnglishVe...
2012-11-15 13:14:00
80
转载 Memcached真的过时了吗？
这两年Redis火得可以，Redis也常常被当作Memcached的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而，Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗？下面内容来自Redis作者在stackoverflow上的一个回答，对应的问题是《Is memcached a dinosaur in comparison to...
2012-11-14 18:16:00
75
转载 linux 性能检测工具 dstat
这几天在做lamp性能调优，对系统性能检测使用top vmstat 发现非常不妨便，在刚开会的时候， @mandahang 介绍了一个软件 dstat，用起来感觉还真不错。下面则对dstat 做下简单的介绍：一、安装1.在centos下 可以 yum -y instatll dstat2. 下载rpm包进行安装wget http://packages.sw.be/...
2012-10-30 18:02:00
92
转载 服务器 交换分区(Swap) 设置
周末的时候HBase集群一台子节点宕机，查看Ganglia及内存使用情况，发现节点Swap空间耗尽，但奇怪的是，系统物理内存却还是非常的富足。我们都知道Swap空间的作用：Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到...
2012-10-29 12:16:00
274
转载 HBase 源码本地调试
本地环境：Win7，配置安装Cygwin，Maven。调试环境：Spring Source Tool Suite(也就是Eclipse)HBase版本： 0.94.2OK，闲话少说，开始~~1. 配置EclipseM2_REPO 变量，如果是Eclipse，估计要配，如果是Spring Source Tool Suite，就不用了，已经集成好了2. 在Eclip...
2012-10-24 12:25:00
113
转载 JVM基础：深入学习JVM堆与JVM栈
以前堆是干啥栈是干啥都知道，就是没连在一起想想。感觉讲的不错的一篇儿~~转自：http://developer.51cto.com/art/201009/227812.htmJVM栈解决程序的运行问题，即程序如何执行，或者说如何处理数据;JVM堆解决的是数据存储的问题，即数据怎么放、放在哪儿，另外JVM堆中存的是对象。JVM栈中存的是基本数据类型和JVM堆中对象的引用。JVM...
2012-10-12 19:06:00
68
转载 JVM启动参数大全
转自：http://www.blogjava.net/midstr/archive/2008/09/21/230265.html前段时间系统升级时遭遇了OOM，具体解决过程见遭遇OutOfMemoryError；为了巩固对于java启动各项参数的认识，决定将所有参数列举出来，并一一解释，以便后查；java启动参数共分为三类；其一是标准参数（-），所有的JVM实现都必须实现这些参...
2012-10-12 15:04:00
75
转载 Linux/Unix下设置定时任务
转自：http://www.taobaotest.com/blogs/qa?bid=9189#more-9189Unix系统提供了cron和at命令，使系统和用户可以定时运行一定的程序，而不需手工启动。使用cron用于周期性的执行一个命令，为了使用它，必须编辑crontab文件。系统缺省的/etc/crontab 文件为：为当前用户创建cron服务1. 键入 cr...
2012-10-11 11:29:00
68
转载 region split时metascan出现regioninfo为空
转自http://bupt04406.iteye.com/blog/1601372最近测试94版本时，出现过多次HRegionInfo was null or empty in Meta 的异常WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: En...
2012-09-20 18:06:00
92
转载 Google Dremel 原理 - 如何能3秒分析1PB
转自：http://www.yankay.com/google-dremel-rationale/简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dreme...
2012-08-24 14:32:00
84
转载 HBase 性能优化笔记
不断更新...1 hbase.hregion.max.filesize应该设置多少合适2 autoflush=false的影响3 从性能的角度谈table中family和qualifier的设置4 hbase.regionserver.handler.count详解1 hbase.hregion.max.filesize应该设置多少合适默认值：256M说明：Ma...
2012-08-07 11:16:00
201
转载 支付宝代志远：HBase系统故障恢复的优化实践分享
转自：http://news.csdn.net/a/20120523/2805879.html【CSDN现场报道】第四届中国云计算大会将于2012年5月23-25日在北京国家会议中心隆重举行。本次大会由中国电子学会主办，北京市经济和信息化委员会协办，中国云计算技术与产业联盟、中国电子学会云计算专家委员会承办，CSDN与《程序员》杂志协办。在2012国内公共云全面开花、云计算实践元年之...
2012-07-23 14:26:00
247
转载 [转载]定制CentOS 6.3 自动安装盘
一、之前有写过一篇管理定制CentOS5.6的文章，最近公司外网生产环境准备用CentOS6系列的，手动安装是在是太麻烦，所以就又研究了一些6系列的封装，其实和5系列的差不多，就是有几个文件不一样，还有就是ks.cfg这个文件我又更新了新内容。二、开始定制1、安装需要的用到的软件包[root@localhost ~]# yum -y install createrepo ...
2012-07-22 23:17:00
77
转载 Missing indirectly referenced artifact com.sun:tools:jar:1.5.0:system 错误
其实很早就遇到过这个错误，一直都没有解决，今天再次看到决心干掉它。网上给出的答案，大多都是如下的解决方案，我不知道他们是不是解决了，但是在我这行不通！当使用eclipse的maven：出现Missing indirectly referenced artifact com.sun:tools:jar:1.5.0:system 错误在eclipse.ini中用-vm指定java...
2012-07-22 18:14:00
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人