2011年05月_nodie

转载 Hadoop使用心得，流程详解

CYD同学的Hadoop使用心得和大家分享下 使用hadoop的map/reduce进行分布式运算已经有一段时间了，谈下自己的心得，纯粹是自己的感受，欢迎拍砖。 首先是部署，在linux下的部署非常简单，随便在网上找个攻略就能搞定。关键是如何配置一个调试环境。在实验室，我是用ubuntu，直接在图形界面下用eclipse，非常方便。考虑到很多时候，linux没有图形界面，比如淘宝这种在windows下用xshell登陆开发机的情况，有必要在windows下模拟一个

2011-05-24 16:53:00 4023 2

转载 InverseMapper.class二次排序

原文地址：http://bbs.chinaunix.net/thread-1650880-1-1.html 用一个并行计算任务显然是无法同时完成单词词频统计和排序的，这时我们可以利用 Hadoop 的任务管道能力，用上一个任务(词频统计)的输出做为下一个任务(排序)的输入，顺序执行两个并行计算任务。主要工作是修改代码清单3中的 run 函数，在其中定义一个排序任务并运行之。 在

2011-05-20 15:34:00 3751 1

转载利用JavaAPI来访问HDFS的文件与目录

package com.demo.hdfs;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStre

2011-05-19 15:22:00 9188 5

转载 hadoop 二次排序

数据 [@zw-hadoop-master hadoop]$ hadoop fs -cat /tmp/text.txt 1 9 2 8 3 7 4 6 5 5 6 4 7 3 8 2 9 1 0 0 9 9 8 8 7 7 6 6 5 5

2011-05-17 17:07:00 3288 1

转载 JAVA 时间差距，两个时间相差多少天，时，分，秒

import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;/*** 时间相距* @author Ben* @version 1.0* @date 2009-10-21 16:38:51*/public class DateDistance { /**

2011-05-17 10:54:00 46549

转载 android intent和intent action大全

android 中intent是经常要用到的。不管是页面牵转，还是传递数据，或是调用外部程序，系统功能都要用到intent。在做了一些intent的例子之后，整理了一下intent，希望对大家有用。由于intent内容太多，不可能真的写全，难免会有遗落，以后我会随时更新。如果你们有疑问或新的intent内容，希望交流。 ★intent大全： 1.从google搜索内容 Intent intent = new Intent(); intent

2011-05-11 15:31:00 1913

转载 android调用系统短信Intent时将预填接收号码

前段世界在一个应用中调用系统自带的发送短信的Intent，但是接收者的号码一直穿不过去，代码如下：Uri smsToUri = Uri.parse("smsto:123456"); Intent sendIntent = new Intent(Intent.ACTION_VIEW, smsToUri); sendIntent.putExtra("sms_body", "Hello dear world"); sendIntent.setType("vnd.android-dir/mms-sms"

2011-05-11 15:23:00 2494

转载在android里如何代码调用系统短信发送界面

Uri smsToUri = Uri.parse("smsto://10086"); Intent mIntent = new Intent( android.content.Intent.ACTION_SENDTO, smsToUri ); startActivity( mIntent );

2011-05-11 15:19:00 4994 1

转载 Android的基本常用的短信操作

1、调用系统发送短信界面（传入手机号码+短信内容） 2、隐藏发送短信（指定号码指定内容）（这里隐藏只是没有反写入数据库） 3、获得收件箱接收到的短信 4、Android屏蔽新短信通知提示信息：（ContentObserver） 4、删除刚接收到的短信： A）、带提示删除 B）、无新短信通知=删除短信 <

2011-05-11 15:15:00 5234 1

转载 Hadoop程序中怎样用代码删除hafs中的文件和目录

Configuration conf = new Configuration();String uri="hdfs://hadoop1:9000"; FileSystem fs=FileSystem.get(URI.create(uri),conf);String s="/user/root/"+ args[1];Path p=new Path(s);boolean a=fs.delete(p,true);System.out.println(a);

2011-05-11 11:19:00 7538

原创开发 Standalone Android Java 应用程序

原文地址：http://blog.csdn.net/quaful/archive/2010/12/23/6094940.aspx 一般来说，我们开发的 Android 应用程序都是基于 Activity 的，由 Android 系统来管理程序的生命周期；但是，有的时候，我们也想自己来控制程序的流程。例如，如果只是开发一个类似 /system/bin/pm 那样的 console 应用程序，用 Activity 就不合适了。这里我称

2011-05-08 22:59:00 1882

转载怎么在android中动态加载一个java 类？

这有个DexClassLoader的例子 http://android.git.kernel.org/?p=platform/dalvik.git;a=blob;f=tests/071-dexfile/src/Main.java;hb=HEAD String jarFile = "path/to/jarfile.jar";DexClassLoader classLoader = new DexClassLoader( jarFile,

2011-05-08 22:54:00 2532 1

转载 Android App 如何动态加载类

原帖地址：http://blog.csdn.net/quaful/archive/2010/12/24/6096951.aspx 在 Java 里面，我们可以把一些类放到 .jar 文件里面，然后用 ClassLoader 动态加载。例如： URLClassLoader ucl = URLClassLoader.newInstance(new URL[] {new URL("file:/sdcard/files/t

2011-05-08 18:09:00 1956

转载如何对hadoop作业的某个task进行debug单步跟踪

对于使用hadoop进行日志分析等工作的开发者来说，相信一直都面临着一个非常头疼的问题。那就是：对hadoop的mapreduce作业，在分布式集群上进行单个task的单步debug跟踪调试无法办到。只能在本地进行调试，然后提交到集群中运行，但是集群中如果某个task总是失败，要对这一个task进行单步跟踪就非常困难。其实原因很简单，因为当把作业提交到hadoop 集群进行运行的时候，你事先根本就不知道那个map或者reduce的task会被分配到哪个tasktracker上执行

2011-05-06 17:34:00 2200

原创 Hadoop分布式安装

一、安装准备1、下载hadoop 0.20.2，地址：http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/2、JDK版本：jdk-6u20-linux-i586.bin （必须是1.6）3、操作系统：Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 200...

2011-05-06 10:56:53 65

原创 hdfs文件操作基本方法(1)

DFSOperater.java import org.apache.hadoop.conf.*;import org.apache.hadoop.fs.*;import org.apache.hadoop.hdfs.*;import org.apache.hadoop.hdfs.protocol.*;import java.util.Date;public class DFSOperater { /** * @param args *

2011-05-05 14:26:00 2898

原创最简单HDFS读取文件

public class ReadDFS { public static void main(String[] args) { Configuration conf = new Configuration(); try{ FileSystem hdfs = FileSystem.get(conf); Path inPath = new Path("/user/nodie/my22"); // FSDataInputStream d

2011-05-05 14:22:00 3189

原创基于云计算平台的并行数据挖掘

基于云计算平台的并行数据挖掘已有 1261 次阅读 2010-5-7 14:26 |个人分类:cloud|系统分类:科研笔记采用云计算技术，实现海量数据的存储、分析、处理、挖掘，提供高可靠性、高性能的数据挖掘分析。从系统架构来讲，基于云计算的并行数据挖掘工具平台包括三个层次，依下而上为分布式计算层；数据挖掘平台层；业务应用层（1）分布式计算平台层：包括三部...

2011-05-05 11:06:18 319

原创 hadoop 现实场景

2011-05-05 11:00:24 61

原创 hadoop 通用操作

配置HDFS 配置HDFS应该是一件不难的事情。首先，我们先配好HDFS的配置文件，再对NameNode进行format操作。配置Cluster 这里，我们假定，你已经下载了Hadoop的一个版本，并解压完毕。 Hadoop安装目录下的conf是hadoop存放配置文件的目录，里面有一些XML文件需要配置。conf/hadoop-defaults.x...

2011-05-04 15:09:47 119

原创 HDFS的JAVA接口API操作实例

20:55 2010-6-2运行环境：Hadoop.0.20.2CentOS 5.4 java version "1.6.0_20-ea"配置的是单机Hadoop环境先看下我的运行截图主要参考这篇文章http://myjavanotebook.blogspot.com/2008/05/hadoop-file-system-tutori...

2011-05-03 11:10:04 125

转载 HDFS的API对Hadoop文件系统的文件进行写入

http://yjhexy.javaeye.com/blog/561720 可以通过FileSystem类的静态get方法来获取HDFS文件系统的实例,FileSystem的实例实现了很多对于文件操作的函数,如上次介绍的open方法,当然,FileSystem也实现了文件写入操作的函数了.我们可以通过调用create方法来在hdfs文件系统中建立一个文件,create方法返回一个FSDataOutputStream的实例,FSDataOutputStream是继承自jav

2011-05-03 11:06:00 11151

转载 Hadoop读写Hdfs系统文件

Hadoop读写Hdfs系统文件 第一，在程序添加相关引用。 import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import o

2011-05-03 11:03:00 5799 1

nodie的专栏