l1902090的专栏

本文介绍如何使用redis实现一个小的微博系统（该例子来源于redis官网文档）。首先，我们要设计我们的redis数据库。对于关系型数据库，设计数据库通常等同于设计table、模式等。对于redis我们是不需要这些的，所以我们只需要设计我们程序中的数据结构用什么key、用哪种value表示就足够了。我们首先要设计的是用户信息这个数据结构，它里边会包含username, userid, pass

前言NoSQL：not only SQL（可不是No SQL啊），它的意义是：在适用关系型数据库的时候使用关系数据库，但是在不适合用关系型数据库的地方使用其他数据库。NoSQL的出现主要是为了弥补关系型数据库的不足，可以算是关系型数据库的一个补充吧。但是必须明白一点，NoSQL不是为了取代关系型数据库，也无法取代关系型数据库，它和关系型数据库是各有优点的。和关系型数据库的比较要讲解No

mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的执行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。

hadoop的安装不难，但是需要做不少的准备工作。一、JDK需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。    之后，需要设置ssh为密钥认证登录。如果没有这一步，那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对，然

用hadoop streaaming写了个小的mapreduce实验程序，脚本如下：#! /bash/shhadoop jar /usr/share/hadoop/contrib/streaming/hadoop-streaming-1.2.1.jar \-input intest \-output outtest \-mapper cat \-reducer cat\

搭建了一个小的实验集群，一共4台机器，一台namenode，三台datenode。执行start-all，发现在namenode上没有报任何错误，但是启动后直接显示datenode数量为0。    到datenode上查看日志，发现有这么个错误： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException

一般情况下我们使用的都是hiredis的同步通信机制，这种机制下每当你向服务器发送命令请求，程序都会阻塞直到收到服务器的回复并处理。而如果采用异步通信，程序就不需要阻塞等待服务器的回复，而是直接继续执行后边的代码，当服务器回复到来后由程序中预先注册的回调函数来处理回复。