bluetropic的专栏

残阳似血的博客

hadoop2.2.0集群搭建    PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，           因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装           hadoop-2.2.0就需要重新在64操作系统上重新编译1.准备工作:(参考伪分布式搭建)        1.1修改Linux主机名     

基于关联抽样的查询估计CS2：A New Database Synopsis for Query Estimation摘要本文提出了一种基于数据库统计汇总信息的关联抽要视图。对选择、连接查询提供快速、精确的结果集估计。与传统方法仅依赖于简单随机抽样的方法不同，这里的抽样选取那些保持连接相关性的元组，同时能够节约存储空间。提出了一种新的统计抽样方法——逆向抽样；设计了一种强大

翻译的草稿，暂时保存，还有很多错误和不理解的地方，以后再修改吧。CPU and Cache Efficient Management of  Memory-Resident Databases内存数据库的CPU和缓存之高效管理摘要：内存数据库管理系统(MRDBMS)必须针对CPU周期和内存带宽两类资源进行优化。混合或部分分解存储模型(PDSM)的提出就是为优化内存带宽，以适

非常幸运的抓住了一次参加2013年大数据技术大会和学术大会的机会。除了技术之外，在经验和阅历上确实对个人提升起到了很大的作用。不得不说，作为一个学生来讲，能够参加这样的大会还是非常受益的。留点文字记忆，以后可能再回顾一下。第一个感觉：搞大数据的人越来越多，而且是年轻人为主。这里所谓的年轻人就是30岁上下。可见，IT的确是口青春饭。技术大会在12月5日举行。世纪金源大酒店的大厅本来是东西两个

原文链接：http://www.alidata.org/archives/2439随着公司业务的飞速发展，集群规模的逐步扩大，各计算系统，存储系统，应用系统也随着业务的发展，一个接一个的被创造了出来。但集群规模扩大以后，却带来很多问题，如自动化部署，集群整体利用率偏低等问题也逐步的暴露出来。所以，迫切的需求一套集群资源调度系统来解决这些问题。各大互联网公司也相继搞出了一些系统，如omega

ln 这是linux中一个非常重要命令，请大家一定要熟悉。它的功能是为某一个文件在另外一个位置建立一个同不的链接，这个命令最常用的参数是-s,具体用法是：ln -s 源文件 目标文件。 当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘

FROM:http://www.cnblogs.com/ggjucheng/archive/2012/08/19/2646007.html前言很多人安装虚拟机的时候，经常遇到不能上网的问题，而vmware有三种网络模式,对初学者来说也比较眼花聊乱，今天我就来基于虚拟机3种网络模式，帮大家普及下虚拟机上网的背景知识。(博文原创自http://www.cnblogs.com/ggjuc

使用可配置参数监视和调优 Hadoop 集群的性能Yu Li, 软件工程师, IBMYu Li 是一位中国软件工程师。他是 IBM InfoSphere BigInsight 团队的成员，这个团队的任务是在 Apache Hadoop 上构建分析平台。他的专业领域包括云计算、性能调优、数据挖掘、数据库技术和中间件技术。简介： Hadoop 是一个可以分布式操纵大量数据的

有时候我们需要Linux系统在开机的时候自动加载某些脚本或系统服务主要用三种方式进行这一操作：ln -s                       在/etc/rc.d/rc*.d目录中建立/etc/init.d/服务的软链接(*代表0～6七个运行级别之一）chkonfig                命令行运行级别设置ntsysv               

expect用于自动化地执行linux环境下的命令行交互任务，例如scp、ssh之类需要用户手动输入密码然后确认的任务。有了这个工具，定义在scp过程中可能遇到的情况，然后编写相应的处理语句，就可以自动地完成scp操作了在部署一个任务时，其中有一项必须的过程就是将一些文件，如安装包发送到大量的服务器上去。虽然已有宇哥的脚本可用：通过paramiko模块提供的ssh和scp功能编写的python

解决linux的-bash: ./xx.sh: Permission denied在linux下执行sh文件时提示下面信息：-bash: ./xx.sh: Permission denied解决：chmod 777 xx.shsh脚本异常：/bin/sh^M:bad interpreter: No such file or directory

1.在bind的主配置文件中添加该域2.在/var/named中创建该域的zone文件3.编辑zone文件，添加需要的信息4.检测防火墙或selinux设置5.启动bind服务6.使用host或nslookup命令   检测域信息是否正常工具/原料安装了Centos6.4系统的电

文章来源：http://blog.csdn.net/heyabo/article/details/8035927关于centos网络配置的方法，网上文档很多，但基本上都是一些操作命令，原理和解释则很少提到，而且某些文章有些地方还是需要商量的（估计是转载的，作者自己也没有实践过）。故，重新总结一下，分三个部分：理论基础、上机实践和原因阐述。注：实践环境：虚拟机登陆方式

独家供稿：移动Labs    美国时间的今天，也就是2013年2月27日，三年前被EMC收购的GreenPlum公司拿出了他们在2013年的重大动作，发布了Pivotal HD，这是一个Hadoop协议栈。与之前OEM的MapR的Hadoop协议栈不一样，这个新的协议栈是GreenPlum自己研发的，主要的目的就是支撑其上被称为HAWG的技术。    发布会演讲可以在这

十二、如果遇到如下错误：FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里边出现了不允许出现的字符，比如冒号：之类的，操作系统不允许的文件命名字符。详细的可以根据提示的部分（星号部分）来进行grep匹配查看。消除

新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=

原文：http://blog.csdn.net/larrylgq/article/details/7580488sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) A