- 博客(58)
- 收藏
- 关注
RSS订阅原创 关于SolrCloud的集群启动慢的原因调查
原创，转载请注明出处在维护SolrCloud 集群过程中，最害怕的重启SolrCloud 集群，因为这需要等待很长的时间。至于为啥要等待这么长的时间，到了今天我才花了点时间弄明白了。了解原理之后我也找到了快速重启集群的方法。首先我们要说明的是，SolrCloud 集群在重启过程中步骤。1.启动core实例，加载配置，replay log。这个不是本文所讲述的重点，暂时不去探...
2015-02-04 15:53:47
566
Spark的TaskScheduler和DagScheduler
原创，转载请注明出处。开始研究神奇的spark。会陆续将研究的心得放上来。在Spark中一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种TaskScheduler（是低级的调度器接口），DagScheduler（是高级的调度）我们在创建SparkContext对象的时候，sparkcontext内部就会创建TaskScheduler和...
2014-04-03 16:56:10
258
Jmeter 发送json
使用jmeter发送json数据。方法有三种[color=red][size=medium]原创，转载请注明出处[/size][/color]1.利用CSV Data set Config。参考：http://demi-panda.com/2013/01/08/how-to-use-a-csv-file-from-json-with-jmeter/2.直接在HTTP请求...
2014-02-10 18:17:29
364
HDFS DATANODE 磁盘容量的最小值
[align=left][color=red][size=medium]原创，转载请注明出处[/size][/color][/align]HDFS的DATANODE的剩余空间具体要到多大？关于这个问题，下面记录下对这个问题的调查昨天，讨论群里面给出了一个异常：[code="java"]op@odbtest bin]$ hadoop fs -put ../tmp/file3 ...
2014-01-16 11:29:20
289
编译drill +hadoop 2.2
[color=red][size=large]原创，转载请注明出处[/size][/color]花了点时间将drill+apache hadoop2.2 编译出来了。之前在drill邮件列表将编译过程整理了一下，现在也整理一份放在我的iteye上面。。1. add a profile section to pom.xml:[code="java"] a...
2013-12-20 15:17:36
183
hadoop 关闭进程时报错no 进程 to stop
[size=large][color=red]原创，转载请注明出处[/color][/size] 前两天和朋友李天王吃饭的时候，聊到了一个hadoop的运维的很简单问题，感觉很有意思，以前也没有注意过，现在加以重现和整理。 感谢李天王的分享。。。。 翻看了yarn-deamon.sh stop部分的脚本：[code="java"] (stop) if...
2013-11-19 10:55:11
351
Apach Dril的计算流程说明
[size=large][color=red]原创，转载请注明出处[/color][/size]花了两天时间，学习了Drill的工作流程，这要感谢Timothy Chen提供Drill关于工作流的文章。工作流的图（注：该工作流是针对alpha版本的说明）：[img]http://dl2.iteye.com/upload/attachment/0091/1519/e3978b85...
2013-11-14 09:37:37
125
Apach Dril的Logical Plan的详解2
[size=large][color=red]原创，转载请注明出处[/color][/size]原文：http://www.confusedcoders.com/bigdata/apache-drill/understanding-apache-drill-logical-planApache Drill在内部会产生2个plan：一个是Logical Plan一个是Physic...
2013-11-11 23:12:18
182
Apache Drill的Logical Plan的语法
[size=large][color=red]原创，转载请注明出处。[/color][/size]利用业余时间完成了对Drill的两篇文档的翻译，希望方便大家学习drill。本文是Drill的Logical Plan的翻译稿。drill logical plan是内部信息，虽然我们使用时候不需要关注logical plan，但是对于开发，这个还是需要了解。前言Dri...
2013-11-05 17:57:08
270
Apache Drill的ValueVector数据结构说明
原创，转载请注明出处。关注很久的hadoop实时计算框架drill终于发布了他的里程碑的第一版本。官网地址：http://incubator.apache.org/drill/目前开始慢慢学习，首先翻译一份官方文档，介绍Apache drill的数据结构ValueVector。完成于2013年11月03日凌晨0：30[size=large][size=medium]Va...
2013-11-03 00:31:08
175
Hbase MTTR介绍
[color=red]翻译一篇关于HBase MTTR的文章介绍，转载请注明出处。[/color]原文的地址http://hortonworks.com/blog/introduction-to-hbase-mean-time-to-recover-mttr/Hbase 是一个always-available的服务，在机器故障的时候保持可用性，集群中的机器都运行region...
2013-08-19 13:15:00
255
原创 Cloudera官网上下载hadoop的tar的地址
最近要找资料，要到Cloudera官网找资料，发现熟悉下载页面变得特别大，居然花了几分钟才能找到tar包下载路径了。估计是cloudera要推自己的hadoop的相关产品。所以要下载tar玩hadoop的童鞋么，注意了，下载路径不容易找。我写来是方便一下童鞋们：Cloudera Download页面，找到Cloudera Standard 点击 Individual C...
2013-08-14 17:59:17
602
Zookeeper Log4j日志输出修改
原创转载请注明出处。今天配置一下了zookeeper。配置的步骤我就不再写了。就是不习惯zookeeper的log日志输出，他是直接输出到当前zookeeper.out的文件，这是一个控制台的重定向文件。所以想着让zk的操作日志输出到标准的log4j文件。首先修改了：conf/log4j.properties：[code="java"]# Define some d...
2013-08-09 11:22:58
1324
MultipleInputs.addInputPath注意点
原创，转载请注明出处：使用MultipleInputs.addInputPath添加多输入源（超过两个）的时候：[code="java"]MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);MultipleInputs.addI...
2013-04-08 19:07:52
954
raw设备minor号相同的问题以及解决方法
原创，转载请注明出处。我的OS是RHEL6.2，需要对99块逻辑卷进行raw设备映射，使用udev来对raw进行管理修改/etc/udev/rules.d/60-raw.rules：[code="java"]ACTION=="add", KERNEL=="/dev/mapper/oracle_vg01-rlvoracle01", RUN+="/bin/raw /dev/ra...
2013-03-25 19:23:51
431
hadoop CLASSNAME命令使用注意点
Hadoop中可是使用hadoop CLASSNAME命令。这个CLASSNAME就是你写好的类名。hadoop CLASSNAME命令类似于java classname。使用hadoop CLASSNAM之前，你需要设置HADOOP_CLASSPATH.[code="java"]export HADOOP_CLASSPATH=/home/hadoop/jardir/*.jar:/h...
2013-03-21 22:28:00
193
rpmbuild淘宝datax代码，File not found问题解决
原创，转载请注明出处。首先批评一下：淘宝开源了数据抽取的工具datax，但是他在开源之后后续技术支持简直惨不忍睹。技术文档完全不是一个业内技术航母应有的范儿，文档水准简直业余。个人觉得，你既然支持开源，起码也要尊重开源，随便搞了一个文档就想糊弄，要知道这个使用者带来很大问题，并花费很多时间。在RHEL 6.2 rpmbulid datax源码包，出现报错信息：[code="...
2013-03-19 21:46:48
761
富士通RX300 S7安装oracle 10g后系统无法启动
oracle安装那么多回，也从来没有出现这样的情况，表示蛋疼。我的安装环境如下： 硬件环境：富士通RX300 S7 OS：RHEL 6.2 oracle 版本：oracle 10g按照以前正常的安装顺序，oracle倒是能安装成功。但是安装之后重启系统，系统居然无法启动。连单用户模式都无法进入。oracle安装都做了很多遍了，除了第一次在RX300 S7的6...
2013-03-18 13:59:05
231
血的教训：扩充lv_root之后系统启动失败，重装也失败
我需要扩大我的root所在的逻辑卷，运行命令之后,结果出现错误，并挂起：[root@Hadoop ~]# lvextend -L +20G /dev/mappers/VolGroup-lv_root Extending logical volume lv_root to 45.55 GiB --- device-mapper: resume ioctl failed: I...
2013-03-17 16:21:33
1205
hdfs的文件访问控制
这两天准备研究一下hadoop的文件访问控制。先从hdfs的访问控制来说。这篇文章很简单，主要是提醒自己以及各位注重hdfs上面的访问控制。在hdfs上面的文件以及文件目录的访问控制，跟操作系统的访问控制是一样的，posix文件系统的权限控制模型一样。我只讲怎么验证：[code="java"]drwxrwxrwx - hadoop root 0...
2013-03-14 21:40:48
443
原创 Delegation Token
原创,转载请注明出处若设置了dfs.block.access.token.enable=true时，启动时的日志中：会有这样两条日志：2013-02-21 19:59:07,006 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: dfs.block.access.token.enable=true...
2013-02-22 10:18:46
530
Hadoop WEBHDFS简单配置，使用
WEBHDFS是一个基于REST的接口。可以查看文件系统，以及文件的内容：在hdfs-site.xml中配置： dfs.namenode.http-address Hadoop:50070 //这个可以不用配置 dfs.webhdfs.enabled true启动之后，可以看使用如下命令检测，获得目录的列表：...
2013-02-21 19:48:07
732
Hadoop Metrics2
Apache Hadoop 0.20.203 and Later, and CDH4 (metrics2)从Apache Hadoop 0.20.203开始，metrics2就必须被使用了，从管理员的角度来说，最值得关注的变化就是配制方法和一些命名系统的变化。其中很多概念和功能集成了metrics1的特点。Metrics1首要的不足之处是其context和插件之间一对一的关系。对于hado...
2013-02-21 15:25:34
580
原创 Hadoop Metrics1
本文是对Hadoop Operation（by Eric Sammer）的翻译稿。转载请注明出处Hadoop MetricsHadoop内部包含一套对外开放的各种metrics接口支持。每一个hadoop的守护进程都可以被配置定期去收集其自身内部组件的数据信息，然后可以通过调用某些插件来处理这一批metrics。目前已经有很多与hadoop配套的插件，这些插件可以应用在一般的部署场...
2013-02-21 15:24:25
155
大数据来临，战略与业绩
翻译一篇关于大数据的文章，觉得很好。原文是：http://blogs.hbr.org/cs/2012/10/getting_started_on_a_big_data.html同时参考了：http://cdc.tencent.com/?p=6580正文： 大数据获取，以及分析正成为新企业竞争差异化的新的前沿战场。在最近的哈佛商业评论（Harvard Business...
2013-02-16 22:35:35
67
union all 的执行顺序
IQ下面做应用开发的时候，遇到一个好玩的事情：情况1中，发现一个规律，union all 中执行顺序是：以第一个union all 的select 语句（如 红色标记）为分界线。先从最后union all的select(如蓝色标记）开始倒序输出到 红色标记的select子句，再输出第一个select子句最后输出红色标记的select子句[code="java"]...
2012-11-12 18:28:58
5395
linux确认工作在SMP环境中
在一次troubleshooting的过程中，需要确认系统是否已经工作在SMP环境中，并查看各个cpu的负载情况，下面总结了一下方法。第一：确认安装的redhat 5.8是开启了SMP(Symmetric Multi-Processing对称多处理结构)服务的。[root@cepsvr1 ~]# uname -aLinux cepsvr1 2.6.18-308.el5 #1 S...
2012-11-11 16:54:25
225
原创 转载Java程序员应该知道的10个调试技巧
转载：Java程序员应该知道的10个调试技巧。http://tech.it168.com/a2012/1024/1412/000001412535.shtml
2012-10-30 18:12:57
99
powerdesigner连接oracle 数据源设置
要使用powerdesigner连接oracle数据库。需要建立odbc数据源。之前一直尝试使用Microsoft ODBC for oracle来创建数据源。但是连接一直失败。后来使用Oracle ODBC Driver 来创建数据源。现在整理如下：看附件吧，过程简单，但是两个注意点不能忽视。...
2012-10-25 10:56:35
586
原创 AWR以及ASH状态报告脚本类型
AWR状态报告脚本类型：awrrpt.sql：获取本实例中的AWR报告awrrpti.sql:获取指定实例中的AWR报告。（比如一个oracle安装了多个数据库的情况，或者一个数据库中集中存储了多个实例的AWR数据）awrsqrpt.sql：获取某个SQL语句的AWR报告。（通过sqlid来指定）awrsqrpi.sql：获取指定实例的的某个SQL的AWR报告awrddrp...
2012-07-19 08:16:47
169
extract和Load AWR信息
extract AWR数据@?/rdbms/admin/awrextr.sql出现数据库列表数据数据库id：Enter value for db_id: 137786338定义需要展示的snapshot id号Enter value for num_days: 2出现snapshot id 列表，输入开始和结束的snapshot idEnter va...
2012-07-18 20:49:44
99
TIMED_STATISTICS 设置的作用
对于这个参数，我的理解是：oracle对wait event的统计有两种：1、只统计wait event的等待的次数（TIMED_STATISTICS为false）2、统计wait event的等待的时间和次数（TIMED_STATISTICS为true）为了尽可能能获得wait event的运行情况，是要将值设置为true的。举例来说：一个等待事件的等待次数很多，但是实际...
2012-07-18 19:59:22
185
手动管理的segment的block结构
在手动管理的block中，采用手动管理的本地管理表空间中的段和数据字典管理的表空间中的段中的空闲数据块的管理都使用位于段头部的空闲列表来管理，例如SYSTEM表空间是本地管理表空间，但是它是采用了手动段空间管理，所以也是用FREELIST来管理段中的空闲数据块的。空闲列表是一个逻辑上的链表，在段的HEADER BLOCK中记录了一个指向第一个空闲块的BLOCK ADDRESS，第一个D...
2012-07-15 17:58:29
171
oracle表预留的3个BLOCK
oracle表的segment的结构是：1、FIRST LEVEL BITMAP BLOCK2、SECOND LEVEL BITMAP BLOCK3、PAGETABLE SEGMENT HEADER4、trans data用户数据实际上是插在DATA BLCOK中去的，所以，查看表中行数据占据的blockID：[code="java"]select id,dbms_...
2012-07-15 11:49:48
205
Eclipse安装VMware Cloud Foundry的SDK
Cloud Foundry是VMware的一项开源PaaS计划，使用各种开源开发框架和中介软件，来提供PaaS服务。开发者可以通过这个平台来建设自己的SaaS的服务，不用自行建设和维护硬体服务器和中介软件。由于Cloud Foundry采用开源的网站平台技术，所以开发者的应用程序也可以任意转移到其他平台上而不受限于PaaS的平台。目前Cloud Foundry可以支持多种开发框架，包括Spri...
2012-07-10 21:52:21
87
select多选tips
关于select控件使用的小tipsselect控件，要是实现下拉选项多选，添加属性[code="java"]multiple="multiple"[/code]若要能看到多个下拉选项，但是只能单选下来选项,可以添加属性[code="java"]size="2"[/code]...
2012-06-11 16:04:42
273
puppet配置使用
openqrm将puppet作为plugin集成进去。但是远达不到puppet原系统的提供的功能。下面是我在openqrm中去安装、配置、使用puppet。1、 首先要弄懂puppet是什么，个人觉得这个实在太重要了，不然很难理解puppet的使用。Puppet是数据中心中，自动配置工具。客户端通过向服务器请求，将需要配置的服务，或者操作命令从服务器端pull到本地，然后再应用运行...
2012-06-03 21:17:04
142
系统添加分区后mkfs.ext4出错
今天帮别人troubleshooting，给/dev/sda添加分区sda4之后，mkfs.ext4出错。出错信息：[code="java"]inode_size (128) * inodes_count (0) too big for afilesystem with 0 blocks, specify higher inode_ratio (-i)or lower inod...
2012-05-26 21:46:21
6343
sqlplus本地命名连接失败问题
1、[code="java"]sqlplus / as sysdba[/code]这是典型的主机命名方式。2、在同一台机器上面创建了多个数据库的时候，并且正确设置了监听器之后，使用本地命名方式如下：[code="java"]sqlplus user/password@sid as sysdba[/code]连接不同数据数据库的时候，一直出错：连接超时。...
2012-05-19 15:32:55
131
sshd无法启动
同事在aix机器下面安装sshd成功，但是无法启动。1、startsrc -s sshd 提示运行成功，2、lssrc -a | grep sshd 检验发现sshd的状态为inoperative。我一直玩的是linux，对aix根本不熟，按照惯常的troubleshooting的思路，居然被我解决了。我也不用什么startsrc命令，直接执行/usr/sbin/sshd...
2012-05-16 14:23:59
1789
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人