2013年04月_学要无止尽

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

转载 Apache Mahout中的机器学习算法集

Apache Mahout 是 ApacheSoftware Foundation (ASF) 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序，并且，在 Mahout 的最近版本中还加入了对Apache Hadoop 的支持，使这些算法可以更高效的运行在云计算环境中。在Mahout实现的机器学习算法见下表：

2013-04-28 20:10:44 1027

转载 Mahout下个性化推荐引擎Taste介绍

Taste是 Apache Mahout 提供的一个个性化推荐引擎的高效实现，该引擎基于java实现，可扩展性强，同时在mahout中对一些推荐算法进行了MapReduce编程模式转化，从而可以利用hadoop的分布式架构，提高推荐算法的性能。在Mahout0.5版本中的Taste，实现了多种推荐算法，其中有最基本的基于用户的和基于内容的推荐算法，也有比较高效的SlopeOne算法，以

2013-04-28 20:10:16 1171

转载 Mahout源码目录说明

mahout项目是由多个子项目组成的，各子项目分别位于源码的不同目录下，下面对mahout的组成进行介绍：1、mahout-core：核心程序模块，位于/core目录下；2、mahout-math：在核心程序中使用的一些数据通用计算模块，位于/math目录下；3、mahout-utils：在核心程序中使用的一些通用的工具性模块，位于/utils目录下；上述三个部分是

2013-04-28 20:09:45 707

原创 WIN7 添加 TELNET

打开控制面板，打开程序和功能，看到左边有个“打开或关闭Windows功能 ,打开找到telnet客户端，把这2项都勾选上，然后确定就可以了注意，如果只要telnet别人的话，就选telnet客户端。图上吐（图）不过默认情况下Telnet服务是被禁止，通常情况下我们只需运行services.msc打开服务管理，找到Telnet服务项设置其启动类型为“手动”或者“自动”，

2013-04-28 18:09:13 774

原创 Hadoop 集群配置（最全面

通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集

2013-04-28 11:01:18 667

原创 Hadoop中如何正确编写继承自Writable借口的子类

Hadoop中可以编写自己的类，用作hadoop job的key或者value类型，自己编写的类要实现借口Writable。我编写了一个HttpContent类，主要用于保存爬取网页的源码，返回状态和编码格式信息，他在mapper中别实例化保存网页内容，然后传输到reducer中被使用，在编写中遇到了一些问题：（1）首先是没有编写默认的构造函数类，因为java中的反馈机制需要一个参

2013-04-28 09:38:22 665

转载 Hadoop中Mapper类的setup（）函数在什么地方调用

经过跟踪hadoop源码发现，Mapper类的setup（）函数在Mapper类的run（）函数中被调用。向hadoop提交job后，hadoop会在MapTask的runNewMapper（）或者runOldMapper（）函数中使用反馈机制实例化具体的Mapper子类，然后调用这个对象的run（）函数，其中setup()函数就在这个函数的开始被调用，因为hadoop会向setup（）函

2013-04-28 09:36:04 981

原创 eclipse3.7.2整合mahout源码报错maven-dependency-plugin (goals "copy-dependencies", "unpack") is not support

POM文件报错maven-dependency-plugin (goals "copy-dependencies", "unpack") is not supported by m2e.，在标签前添加如下内容 org.eclipse.m2e lifecycle-mapping

2013-04-27 14:07:04 1180 1

原创 Ubuntu下 ssh : connect to host localhost port 22:Connection refused

Ubuntu下测试ssh时使用ssh localhost 命令，出现错误提示connect to host localhost port 22:Connection refused 造成这个错误的原因可能是ssh-server未安装或者未启动。ubuntu 11.10 默认安装openssh-client，但是木有安装server 运行 ps -e | grep s

2013-04-24 11:15:35 883

原创 virtualbox里的linux和windows共享文件

VirtualBox为fedora配置共享文件夹Virtualbox是一个十分小巧玲珑的虚拟化软件，开源免费，相当不错。而且基本功能都具备，个人使用完全没有问题。同VMware Workstation with ACE那600多M的安装包比起来，21.3M的Virtualbox看着就让人喜欢。还有2008年2月,virtualbox原来的公司innotek被sun收购了，有了sun撑腰，v

2013-04-24 10:41:40 662

原创 linux java 环境变量设置

~/.bashrcexport JAVA_HOME=/home/liujie/hadoop/jdk1.7.0_17export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2013-04-23 11:39:30 582

原创 ubuntu下使用vi是方向键变乱码退格键不能使用的解决方法

。在ubuntu下，初始使用vi的时候有点问题，就是在编辑模式下使用方向键的时候，并不会使光标移动，而是在命令行中出现[A [B [C [D之类的字母，而且编辑错误的话，就连平时关于的退格键(Backspace键)都使用不了，只能用Delete来删除。针对这个问题，网上的答案有很多，例如是安装完整版的vim啊，编辑/etc/vim/vimrc.tiny等方法，很杂很乱，在这里我就做个详细的总结吧：

2013-04-23 10:39:54 772

转载 Java之美[从菜鸟到高手演变]之设计模式

设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真

2013-04-16 15:09:08 620

转载 Twitter Storm集群搭建小结

最近自己尝试搭建了一下Twitter Storm的集群，参考了很多网友的博客，特别是徐明明的；这里只对自己搭建时的过程和所遇到的问题做一个小总结，方便查阅。 Storm是Twitter开源的一个实时计算框架，它需要依赖Zookeeper，ZeroMQ；同时还需要你的系统环境中有Java和Python。所以整个搭建步骤如下：搭建Zookeeper集群。在控制节点机[ Nimb

2013-04-12 17:22:50 666

原创 Linux中profile、bashrc、bash_profile之间的区别和联系

1./etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.所以如果你有对/etc/profile有修改的话必须得重启你的修改才会生效，此修改对每个用户都生效。2./etc/bashrc:为每一个运行bash shell的用户执行此文件.当bash shell被打开

2013-04-12 11:42:14 683

原创虚拟机 ubunto 使用设置

1.在ubunto 桌面打开控制台Ctrl + Alt + T2.vmware安装ubuntu，root密码修改先解除root锁定，为root用户设置密码在当前用户终端（Terminal）输入：sudo passwd(回车)打开终端输入：sudo passwdPassword: Enter new UNIX password: Retype ne

2013-04-11 19:37:48 919

转载 Hadoop数据传输工具sqoop

概述sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。sqoop架构：sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。sqoop的进一步发展可

2013-04-11 16:05:46 915

转载【hbase】bulkload数据到hbase表中

一、概述HBase有很多种方法将数据加载到表中，最简单直接的方法就是通过MapReduce调用TableOutputFormat方法，或者在client上调用API写入数据。但是，这都不是最有效的方式。这篇文档将向你描述如何在HBase中加载大数据。采用MapReduce作业，将数据以HBase内部的组织格式输出成文件，然后将数据文件加载到已运行的集群中。（注：就是生成HFile，然后

2013-04-11 15:47:37 1054

原创其他linux

打出Asiccecho -n "China Unix" | od -An -t dCShell默认变量$# :传入脚本的命令行参数个数$* :所有命令行参数值，在各个参数值之间留有空格$0 :命令本身（shell文件名）$2 :第二个命令参数Shell默认变量#!/bin/bash if [ ! $1 ]; th

2013-04-11 15:46:14 600

原创 hadoop 安装和 ssh 服务

1.hadoop安装目标是为构造一个运行在多台机器上的Hadoop集群提供指南，因此所述的安装均面向多台机器。在单台机器上安装Hadoop非常简单，在获取Hadoop之后（通常是一个压缩包），解压缩到特定目录即可。由于Hadoop是通过ssh服务对多个节点进行管理和同步，因此要求这些节点具有一个相同的帐号，而且Hadoop的部署目录结构都相同，为实现此要求，我们按照以下方式安装Hadoop

2013-04-10 10:16:00 1328

转载 Twitter Storm简介

网址: http://xumingming.sinaapp.com/109/twitter-storm简介/ 本文翻译自storm官方wiki: https://github.com/nathanmarz/storm/wiki/Rationale背景过去的十年是数据处理变革的十年， MapReduce, Hadoop以及一些相关的技术使得我们能处理的数据量比以前要

2013-04-08 18:42:49 710

转载 Twitter Storm的一些关键概念

网址: http://xumingming.sinaapp.com/117/twitter-storm的一些关键概念/ 这篇文章翻译自storm官方wiki: https://github.com/nathanmarz/storm/wiki/Concepts, 主要介绍storm的一些关键概念。storm的一些关键概念如下:TopologiesStreams

2013-04-08 18:36:52 589

转载 Twitter Storm如何保证消息不丢失

网址: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ 本文翻译自： https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processingstorm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个

2013-04-08 18:29:20 663

转载 Twitter Storm入门

网址: http://xumingming.sinaapp.com/138/twitter-storm入门/ 本文翻译自： https://github.com/nathanmarz/storm/wiki/Tutorial在这个教程里面我们将学习如何创建Topologies, 并且把topologies部署到storm的集群里面去。Java将是我们主要的示范语言，个别例子会使

2013-04-08 18:28:25 666

转载 Twitter Storm: 创建一个新的storm项目

网址: http://xumingming.sinaapp.com/160/twitter-storm-创建一个新的storm项目/ 这篇文章翻译自: https://github.com/nathanmarz/storm/wiki/Creating-a-new-Storm-project这篇文章主要介绍如何新建一个storm项目，主要步骤:把storm的jar包

2013-04-08 18:27:21 979

转载 Twitter Storm: 配置开发环境

本文翻译自：https://github.com/nathanmarz/storm/wiki/Setting-up-development-environment这篇文章介绍了如何配置一个storm的开发环境，总的来看有下面几个步骤：下载storm的release版本，解压，并且把bin/目录加到环境变量PATH里面去。为了让我们可以启动/停止远端storm集群上的to

2013-04-08 18:22:52 685

转载 Twitter Storm 概念

概念这个页面列出了storm的主要概念和查找更多信息的链接。讨论的概述有：1. 拓扑(Topologies)2. 流(Streams)3. 喷嘴（Spouts）4. 螺栓（Bolts）5. 流分组（Stream groupings）6. 可靠性（Reliability）7. 任务（Tasks）8. 工作者（Workers）

2013-04-08 16:11:58 824

转载 Twitter Storm 实时数据处理框架分析总结

Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架（原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析）。实时数据处理的应用场景很广泛，如上篇文章介绍S4时所说的个性化搜索广告的会话特征分析。而Yahoo当初创建S4项目的直接业务需求就是为了在搜索引擎的‘cost-per-click’广告中，能根据当前情景上下文

2013-04-08 15:39:20 956

原创 xor 逻辑异或

定义Exclusive OR（异-或运算）异或（xor）是一个数学运算符。它应用于逻辑运算。异或符号为“^”。其运算法则为：a^b=(a' and b) or (a and b')（a'为非a）。真异或假的结果是真，假异或真的结果也是真，真异或真的结果是假，假异或假的结果是假。就是说两个值不相同，则异或结果为真。反之，为假。不同为1,相同为0.异或也叫半加运算，其运算法则相当

2013-04-08 15:32:59 22427

转载 storm简介

场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一

2013-04-08 13:31:26 464

转载 Storm配置项详解

什么是Storm?Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。配置项详解:以下是从storm的backtype.storm.Config类中搜集的所有storm支持的配置项(Ba

2013-04-08 11:51:37 800