Hadoop
qinglang1987
呵呵,做最好的自己。
展开
-
Hadoop 统计文件中某个单词出现的次数
如文件word.txt内容如下:what is you name? my name is zhang san。要求统计word.txt中出现“is”的次数? 代码如下:PerWordMapperpackage com.hadoop.wordcount;import java.io.IOException;import java.util.StringTo原创 2013-07-11 21:18:10 · 4653 阅读 · 0 评论 -
Hive数据导入
可以通过多种方式将数据导入hive表1.通过外部表导入用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入external表。例如:编辑文件test.txt$ cat test.txt 1 hello2 world3 test4 case字原创 2013-07-31 16:41:11 · 1180 阅读 · 0 评论 -
利用SQOOP将ORACLE到HDFS
#Oracle的连接字符串,其中包含了URL,SID,和PORTURL=jdbc:oracle:thin:@132.232.19.79:10521:szdw#使用的用户名USERNAME=szdw#使用的密码PASSWORD=szdw#需要从Oracle中导入的表名TableNAME=proc_resource_admin#需要从Oracle中导入的表中的字段名原创 2013-07-31 18:32:36 · 2148 阅读 · 0 评论 -
cygrunsrv: Error starting a service: QueryServiceStatus: Win32 error 1062: 解决办法
问题原因:很可能是/var/log的权限设置不正确。首先执行 mkpasswd 和 mkgroup 重新生成权限信息,再删除sshd服务,重新配置解决办法:$ mkpasswd -l > /etc/passwd$ mkgroup -l > /etc/group$ cygrunsrv -R sshd$ ssh-host-config -y$ cygrunsrv -S sshd原创 2013-07-19 15:46:15 · 4645 阅读 · 1 评论 -
Hadoop 类Grep源代码注释
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regard原创 2013-07-04 11:30:15 · 1597 阅读 · 0 评论 -
Hadoop 类AggregateWordCount源代码注释
package org.apache.hadoop.examples;import java.io.IOException;import java.util.ArrayList;import java.util.StringTokenizer;import java.util.Map.Entry;import org.apache.hadoop.io.Text;im原创 2013-07-03 09:24:37 · 2487 阅读 · 0 评论 -
Hadoop 写SequenceFile文件 源代码
package com.tdxx.hadoop.sequencefile;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import原创 2013-07-03 11:48:11 · 1842 阅读 · 0 评论 -
Hadoop 实现多文件输出
比如word.txt内容如下:aaa bbb aba abcbba bbd bbbccc ccd cce要求按单词的首字母区分单词并分文件输出代码如下:LineRecordWriterpackage com.hadoop.multi;import java.io.DataOutputStream;import java.io.IOException;im原创 2013-07-11 21:28:08 · 1800 阅读 · 0 评论 -
Hadoop HDFS文件操作
1、创建目录import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class MakeDir { public static vo原创 2013-07-11 21:00:07 · 2053 阅读 · 2 评论 -
Hadoop WritableComparable接口
WritableComparable接口Writable接口大家可能都知道,它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Writable接口,使得该结构化对象可以序列化为字节流,字节流也可以反序列化为结构化对象。那WritableComparable接口是可序列化并且可比较的接口。MapReduce中所有的key值类型都必须实现这个接口,既然是可序列化的那就原创 2013-07-31 16:37:37 · 1639 阅读 · 0 评论