iteye_423的博客

原创，转载请注明出处在维护SolrCloud 集群过程中，最害怕的重启SolrCloud 集群，因为这需要等待很长的时间。至于为啥要等待这么长的时间，到了今天我才花了点时间弄明白了。了解原理之后我也找到了快速重启集群的方法。首先我们要说明的是，SolrCloud 集群在重启过程中步骤。1.启动core实例，加载配置，replay log。这个不是本文所讲述的重点，暂时不去探...

原创，转载请注明出处。开始研究神奇的spark。会陆续将研究的心得放上来。在Spark中一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种TaskScheduler（是低级的调度器接口），DagScheduler（是高级的调度）我们在创建SparkContext对象的时候，sparkcontext内部就会创建TaskScheduler和...

使用jmeter发送json数据。方法有三种[color=red][size=medium]原创，转载请注明出处[/size][/color]1.利用CSV Data set Config。参考：http://demi-panda.com/2013/01/08/how-to-use-a-csv-file-from-json-with-jmeter/2.直接在HTTP请求...

[align=left][color=red][size=medium]原创，转载请注明出处[/size][/color][/align]HDFS的DATANODE的剩余空间具体要到多大？关于这个问题，下面记录下对这个问题的调查昨天，讨论群里面给出了一个异常：[code="java"]op@odbtest bin]$ hadoop fs -put ../tmp/file3 ...

[color=red][size=large]原创，转载请注明出处[/size][/color]花了点时间将drill+apache hadoop2.2 编译出来了。之前在drill邮件列表将编译过程整理了一下，现在也整理一份放在我的iteye上面。。1. add a profile section to pom.xml:[code="java"] a...

[size=large][color=red]原创，转载请注明出处[/color][/size] 前两天和朋友李天王吃饭的时候，聊到了一个hadoop的运维的很简单问题，感觉很有意思，以前也没有注意过，现在加以重现和整理。 感谢李天王的分享。。。。 翻看了yarn-deamon.sh stop部分的脚本：[code="java"] (stop) if...

[size=large][color=red]原创，转载请注明出处[/color][/size]花了两天时间，学习了Drill的工作流程，这要感谢Timothy Chen提供Drill关于工作流的文章。工作流的图（注：该工作流是针对alpha版本的说明）：[img]http://dl2.iteye.com/upload/attachment/0091/1519/e3978b85...

[size=large][color=red]原创，转载请注明出处[/color][/size]原文：http://www.confusedcoders.com/bigdata/apache-drill/understanding-apache-drill-logical-planApache Drill在内部会产生2个plan：一个是Logical Plan一个是Physic...

[size=large][color=red]原创，转载请注明出处。[/color][/size]利用业余时间完成了对Drill的两篇文档的翻译，希望方便大家学习drill。本文是Drill的Logical Plan的翻译稿。drill logical plan是内部信息，虽然我们使用时候不需要关注logical plan，但是对于开发，这个还是需要了解。前言Dri...

原创，转载请注明出处。关注很久的hadoop实时计算框架drill终于发布了他的里程碑的第一版本。官网地址：http://incubator.apache.org/drill/目前开始慢慢学习，首先翻译一份官方文档，介绍Apache drill的数据结构ValueVector。完成于2013年11月03日凌晨0：30[size=large][size=medium]Va...

[color=red]翻译一篇关于HBase MTTR的文章介绍，转载请注明出处。[/color]原文的地址http://hortonworks.com/blog/introduction-to-hbase-mean-time-to-recover-mttr/Hbase 是一个always-available的服务，在机器故障的时候保持可用性，集群中的机器都运行region...

最近要找资料，要到Cloudera官网找资料，发现熟悉下载页面变得特别大，居然花了几分钟才能找到tar包下载路径了。估计是cloudera要推自己的hadoop的相关产品。所以要下载tar玩hadoop的童鞋么，注意了，下载路径不容易找。我写来是方便一下童鞋们：Cloudera Download页面，找到Cloudera Standard 点击 Individual C...

原创转载请注明出处。今天配置一下了zookeeper。配置的步骤我就不再写了。就是不习惯zookeeper的log日志输出，他是直接输出到当前zookeeper.out的文件，这是一个控制台的重定向文件。所以想着让zk的操作日志输出到标准的log4j文件。首先修改了：conf/log4j.properties：[code="java"]# Define some d...

原创，转载请注明出处：使用MultipleInputs.addInputPath添加多输入源（超过两个）的时候：[code="java"]MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);MultipleInputs.addI...

原创，转载请注明出处。我的OS是RHEL6.2，需要对99块逻辑卷进行raw设备映射，使用udev来对raw进行管理修改/etc/udev/rules.d/60-raw.rules：[code="java"]ACTION=="add", KERNEL=="/dev/mapper/oracle_vg01-rlvoracle01", RUN+="/bin/raw /dev/ra...

Hadoop中可是使用hadoop CLASSNAME命令。这个CLASSNAME就是你写好的类名。hadoop CLASSNAME命令类似于java classname。使用hadoop CLASSNAM之前，你需要设置HADOOP_CLASSPATH.[code="java"]export HADOOP_CLASSPATH=/home/hadoop/jardir/*.jar:/h...

原创，转载请注明出处。首先批评一下：淘宝开源了数据抽取的工具datax，但是他在开源之后后续技术支持简直惨不忍睹。技术文档完全不是一个业内技术航母应有的范儿，文档水准简直业余。个人觉得，你既然支持开源，起码也要尊重开源，随便搞了一个文档就想糊弄，要知道这个使用者带来很大问题，并花费很多时间。在RHEL 6.2 rpmbulid datax源码包，出现报错信息：[code="...

oracle安装那么多回，也从来没有出现这样的情况，表示蛋疼。我的安装环境如下： 硬件环境：富士通RX300 S7 OS：RHEL 6.2 oracle 版本：oracle 10g按照以前正常的安装顺序，oracle倒是能安装成功。但是安装之后重启系统，系统居然无法启动。连单用户模式都无法进入。oracle安装都做了很多遍了，除了第一次在RX300 S7的6...

我需要扩大我的root所在的逻辑卷，运行命令之后,结果出现错误，并挂起：[root@Hadoop ~]# lvextend -L +20G /dev/mappers/VolGroup-lv_root Extending logical volume lv_root to 45.55 GiB --- device-mapper: resume ioctl failed: I...

这两天准备研究一下hadoop的文件访问控制。先从hdfs的访问控制来说。这篇文章很简单，主要是提醒自己以及各位注重hdfs上面的访问控制。在hdfs上面的文件以及文件目录的访问控制，跟操作系统的访问控制是一样的，posix文件系统的权限控制模型一样。我只讲怎么验证：[code="java"]drwxrwxrwx - hadoop root 0...