2014年01月_wangqiaoshi

06月 04月 03月 02月 01月

原创 hbase rest server及python使用

1.启动hbase rest start -p 8087 &2.python framework starbase3.

2014-01-18 16:42:30 588

原创 mysql replication

The REPLICATION CLIENT privilege enables the use of SHOW MASTER STATUS and SHOW SLAVE STATUS.The REPLICATION SLAVE privilege should be granted to accounts that are used by slave servers to c

2014-01-12 15:02:40 437 1

转载 linux 完全卸载mysql

在linux下开发，mysql数据库是经常用到的，对于初学者来说，在linux怎么安装卸载mysql数据库，也许可能比较痛苦，这里简单介绍下，怎么卸载msql数据库。a）查看系统中是否以rpm包安装的mysql[plain] view plaincopy[root@linux ~]# rpm -qa | grep -i mysql

2014-01-12 13:32:25 298

转载 Hadoop常用配置总结

Hadoop守护进程日志存放目录：可以用环境变量${Hadoop_LOG_DIR}进行配置，默认情况下是${HADOOP_HOME}/logs1．配置类型节点的环境变量在配置集群的时候可以在conf/hadoop-env.sh配置不同节点的环境变量：DaemonConfigure OptionsNameNode

2014-01-11 16:55:17 884

转载 hadoop 优化0

1.hadoop-env.sh：该文件用来配置hadoop所需的特殊环境变量：JAVA与HADOOP环境变量的设置（如果在~/.bash_profile中设置了环境变量，这里可以不进行配置）export JAVA_HOME=/home/admin/deploy/java6export HADOOP_HOME=/home/admin/deploy/hadoop-0.20.

2014-01-11 16:53:21 1067

原创修改namenode,datanode,secondarynode,balance,jobtarcker内存大小

HADOOP_NAMENODE_OPTS=-Xmx4096mHADOOP_DATANODE_OPTS=-Xmx2048mexport HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.mana

2014-01-11 16:45:55 1045

转载 HDFS 原理、架构与特性介绍

1：当前HDFS架构详尽分析HDFS架构1、NameNode2、DataNode3、Sencondary NameNode数据存储细节NameNode 目录结构Namenode 的目录结构： ${ dfs.name.dir}/current /VERSION

2014-01-11 15:51:33 393

转载 hadoop 优化2

from http://dongxicheng.org/mapreduce/hadoop-optimization-1/4. 从系统实现角度进行优化4.1 在可移植性和性能之间进行权衡论文[16]主要针对HDFS进行了优化，它分析了HDFS性能低下的两个原因：调度延迟和可移植性假设。（1）调度延迟Hadoop采用的是动态调度算法，即：当某

2014-01-11 15:25:41 549

转载 hadoop优化1

1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是

2014-01-11 15:20:56 663

原创收藏几个google下开源软件

http://code.google.com/p/cfuture09-apkutil/http://code.google.com/p/xml-apk-parser

2014-01-06 14:38:45 276

原创 easy_install,pip介绍,安装(install,description)

Easy Install is a python module (easy_install) bundled with setuptools that lets you automatically download, build, install, and manage Python packages.Pip is a tool for installing and managi

2014-01-04 20:27:56 584

原创 linux 搜索软件的好网站

http://rpm.pbone.net/适合linux 大家庭的Fedora,Rhel,centos,redhat,suse等等rpm软件都有，非常全

2014-01-04 20:02:27 265

原创 suse zypper 软件源使用

必需保持的软件源：Main Repository (OSS)（开源的软件）Main Repository (NON-OSS)（非开源软件）Main Update Repository（开源软件安全更新）Main Update Repository (NON-OSS)（非开源软件安全更新）这个几个默认是配置zypper里面的由于官方软件比较，有几个国内比较快这是163的

2014-01-04 16:46:45 2767

转载 GCC与make的区别

刚接触linux编程，很多概论都比较模糊，今天突然用到makefile文件，想到了make与gcc的关系。于是查阅了一些资料，在此做一个小结：1.gcc是编译一个文件，make是编译多个源文件的工程文件的工具。2.make是一个命令工具，是一个解释makefile中指令的命令工具，一般来说，大多数的IDE都有这个命令，比如：Delphi的make，Visual C++的nmake，

2014-01-04 13:36:08 298

原创 How to install and setup Yum in OpenSUSE 11.1

So in case you don't like the Yast utility (many people I know hates the Yast), missing some function that yum provides or you simply prefer installing/uninstalling packages using the Yum utility th

2014-01-04 00:24:58 840

原创 ambari 安装

http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.htmlhttps://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+from+public+repository

2014-01-02 16:33:54 55