北漂的蜗牛

安装环境：centos6.0+jdk1.6.0_29+hadoop1.0.0+hbase0.90.4已经安装好centos6.0+jdk1.6.0_29+hadoop1.0.0环境1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录（如：/opt）[html] view plaincopyprint?cd /opt

Slope One 推荐算法是 2005 年在香港的 WWW 会议上提出来的。可以Google检索会议论文集看原著，不过还是建议看原著之前，看完本文！Slope One是一个基于Item的个性化推荐算法，股票上有个说法是平均值可以掩盖一切异常波动，所以股票上的各个技术指标都是不同时间段的平均值的曲线图或者柱状图等。同样的，Slope one算法也认为：平均值也可以代替某两个未知个体之间的打分差

hive> select * from zz0; OK 111111 222222 888888 Time taken: 0.147 seconds hive> select * zz1; FAILED: Parse Error: line 0:-1 mismatched input '' expecting FROM in from clause hive

Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。Python 1.5之前版本则是通过 regex 模块提供 Emecs 风格的模式。Emacs 风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用 regex 模块，当然偶尔你还是可能在老代码里发现其踪影。     就其本质而言，正则表达式（或 RE）是一种小型的、高度专业化的编程语言，

Hive的UDF，其实很类似Mysql之类的自定义函数不过它需要用java来编写，而不是用传统的SQL来完成实现一个UDF的步骤如下：实现一个Java Class，继承自UDF打成jar包，并加入到Hive的ClassPath中生成自定义函数，执行select删除刚才创建的临时函数下面这个UDF，是我给hive的array增加的一个函数用来判断array中是

DDL Operations创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件（正则表达

Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。请看一个例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.hive.serde2.io.DoubleWritable;publi

Oracle的分析函数row_number是十分有用的功能，但是將ETL迁移到Hive中发现没有的功能，我们实现了一个UDF实现了该函数，代码如下:JAVA代码:package org.nalang.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class RowNumber extends UDF {

Hive提供了User Defined Functions的开发接口以给使用者扩展。上手比较简单，下面是开发使用一个MD5的例子。JAVA代码:package org.nalang.hive.udf;import java.io.UnsupportedEncodingException;import java.security.MessageDigest;import java

一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/String, Hadoop IntWritable/Textc）用户提供的 map/reduce 脚本：不管什么语

Hive 是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：Text File，Sequence File内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据用户自定义函数: Substr, Trim, 1 – 1

转载自：http://asfr.blogbus.com/logs/44208067.html          在这个实例中，我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduce程序。尽管Hadoop 框架是使用Java编写的但是我们仍然需要使用像C++、Python等语言来实现Hadoop程序。尽管Hadoop官方网站给的示例程序是使用Jytho

为了方便大家编写mapreduce程序，我特地编写了一个脚本，可以直接通过他编译并运行mapreduce程序，用bash awk编写的。使用方法如下1.cd hadoop/  到hadoop的目录下2.如果是第一次使用脚本，需要新建playground目录，及子目录src。（详细步骤：mkdir playground/  mkdir  playground/src）3.然后将代

如果想快速简单的了解shell 编程，这里也给个简单的教程链接：http://www.ooblick.com/text/sh/  还有深入一点的cu shell版镇板之宝经典十三问http://bbs2.chinaunix.net/thread-218853-1-1.html如果想快速了解awk，而没有时间阅读那个长长的e文的manual，请看下文。如果想好好学习awk，这里还有本

以下为转贴 Cron 是UNIX, SOLARIS，LINUX下的一个十分有用的工具。通过Ｃron脚本能使计划任务定期地在系统后台自动运行。这种计划任务在UNIX, SOLARIS, LINUX下术语为cron jobs。 Crontab (CRON 表)则是用来记录在特定时间运行的CRON的一个脚本文件。Crontab归结为以下几点特性：1.      Crontab约束2.

Lesson 1 准备好学习Python的环境下载的地址是：www.python.org为了大家的方便，我在校内作了copy：http://10.1.204.2/tool/compiler&IDE/Python-2.3.2-1.exelinux版本的我就不说了，因为如果你能够使用linux并安装好说明你可以一切自己搞定的。运行环境可以是linux或者是windows：

Ubuntu系统必须开启ssh服务后，XP或者其他的主机才可以远程登陆到Ubuntu系统。1，安装软件包，执行sudo apt-get install openssh-serverUbuntu缺省安装了openssh-client，如果你的系统没有安装的话，再用apt-get install openssh-client安装上即可。2，然后确认sshserver是否启动，执

在做实验的时候我们经常得到的是监控视频，可是程序中要用到的是视频的图片序列或部分图片，这时就需要将用OpenCV将视频转存为图片序列。源代码如下，已经在VC++2008和OpenCV2.1下调试通过。// avi2img.cpp : 定义控制台应用程序的入口点。//#include "stdafx.h"using namespace std;int main(int argc, _TCHAR* argv[]){ char * filename = "D://video//1.avi";    int n =

在做视频图像方向的时候，经常要连续读取图像序列，那么首先就要获得整个序列图像文件夹中所有的图像文件列表，列表中每一行就是一个图片的绝对路径，这样我们可以直接在程序中通过读取该列表每一行就可以得到序列图片了，那么怎么获取呢，其实很简单，利用系统自带的dos命令行。

dos命令之Dir详解及实例应用（2）
例1、       如果想列出C盘根目录下的目录和文件列表，在命令行输入cd /回车输入dir如下图 



例2、    如果想显示该以C盘下的所有系统或隐藏的子目录及文件，在命令行中输入dir/a如下图


       看到区别了吗？在不使用参数A的情况下只显示了5个目录5个文件，在使用参数a却能显示出12个文件，及6个目录可见参数a的作用是显示具有特殊属性的文件。<b