Hadoop
iteye_17225
这个作者很懒,什么都没留下…
展开
-
编写WordCount程序
编写自己WordCount程序package rock.lee.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;...原创 2015-06-15 15:00:27 · 116 阅读 · 0 评论 -
HBase集群搭建
cetnos1:HMaster(active)cetnos2:HMaster (standby)centos4:HRegionServercentos5:HRegionServercentos6:HRegionServer 1、安装Zookeeper集群2、要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下...原创 2015-10-09 15:11:25 · 67 阅读 · 0 评论 -
Hive CLI
1、创内部建表,hive把数据移动到仓库目录,hive管理数据,所以drop表时会把元数据和数据一起删除create table user (id int, name string) row format delimited fields terminated by '\t'2、将本地文件系统上的数据导入到表中load data local inpath '/root/use...原创 2015-10-11 15:49:10 · 69 阅读 · 0 评论 -
Flume数据收集
1、创建flume监听的目录,如果不嫌创建,启动flume时会报错 2、配置flumesources:目录channels:内存skin:hdfs#定义agent名, source、channel、sink的名称a4.sources = s1a4.channels = c1a4.sinks = s1#具体定义source...原创 2015-10-11 17:00:12 · 84 阅读 · 0 评论 -
sqoop数据的导入和导出
1、将mysql驱动拷贝到sqoop的lib中 2、测试sqoop与mysql的连接[root@centos1 bin]# sqoop list-databases --connect jdbc:mysql://192.168.1.100:3306/ --username root --password root 3、从mysql导入到hdfssqoop #...原创 2015-10-11 17:54:54 · 155 阅读 · 0 评论 -
CentOS6.4下Hadoop1.1.2伪分布式环境搭建
使用VirtualBox搭建伪分布式环境,Linux为CentOS6.4,网络连接模式为Host-only 物理环境虚拟机网卡地址设置为192.168.56.0/24网段 设置CentOS的IP地址,必须和虚拟机网卡地址在同一网段,配置完CentOS的IP地址后重启一下网卡[root@centos /]# service network restartShutt...原创 2015-05-19 22:06:58 · 119 阅读 · 0 评论 -
HDFS fs命令
启动hadoop[root@centos local]# start-all.sh 查看进程 [root@centos local]# jps3310 JobTracker3008 NameNode3120 DataNode3471 TaskTracker3230 SecondaryNameNode3562 Jps hdfs命令都是以hadoop ...原创 2015-05-20 21:34:42 · 182 阅读 · 0 评论 -
HDFS FileSystem常用方法
工程所依赖的jar包, hadoop-1.1.2/*.jar、hadoop-1.1.2/lib/*.jar 编写Java程序通过URL访问HDFSpublic class HDFSTest { public static final String HDFSPATH ="hdfs://centos:9000/hello.txt"; @Test public...原创 2015-05-22 16:43:01 · 862 阅读 · 0 评论 -
HDFS基本概念
HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件,这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据访问),HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析。每次分析都将设计...原创 2015-05-25 23:11:56 · 187 阅读 · 0 评论 -
HBase简介(很好的梳理资料)
一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become A...原创 2015-10-04 17:13:57 · 76 阅读 · 0 评论 -
MapReduce统计手机上网流量
统计手机上网的上行流量和下行流量数据格式: 统计手机的上网流量只需要“手机号”、“上行流量”、“下行流量”三个字段,根据这三个字段创建bean对象,该对象要实现Writable接口,以便实现序列化,并且要有无参构造方法,hadoop会使用反射创建对象public class PhoneBean implements Writable { privat...原创 2015-09-21 15:27:11 · 195 阅读 · 0 评论 -
Hadoop MapReduce入门
MapReduce是个毛Hadoop是一个分布式计算系统,两大核心HDFS,这是搞文件的,MapReduce,这是搞计算的。MapReduce是一种编程模型,类比为设计模式,好比最佳实践,编写是先写map函数,再写reduce函数。 Shuffle是个毛 这个图来自《Hadoop,The Definitive Guide》,就是“谁说大象不能跳舞”那本书,用来描述...原创 2015-06-17 17:36:30 · 74 阅读 · 0 评论 -
MapReduce编程模板
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritab...原创 2015-08-05 11:33:57 · 53 阅读 · 0 评论 -
VirtualBox+Centos6.4搭建Hadoop1.1.2分布式环境
伪分布式环境搭建http://mvplee.iteye.com/blog/2212629 复制之前在VirutalBox搭建的伪分布式环境,修改主机名,分别为hadoop1、hadoop2、hadoop3 修改每台主机的主机名,分别为hadoop1、hadoop2、hadoop3/etc/sysconfig/network/etc/hostsreboot...原创 2015-08-07 14:16:20 · 87 阅读 · 0 评论 -
分布式环境ZooKeeper3.4.5安装和JavaAPI
VirtualBox+Centos6.4搭建Hadoop1.1.2分布式环境http://mvplee.iteye.com/blog/2233435 确保集群内服务器时间一致 解压文件[root@hadoop1 local]# tar -zxvf zookeeper-3.4.5.tar.gz 配置home变量[root@hadoop1 local]#...原创 2015-08-07 21:29:33 · 138 阅读 · 0 评论 -
伪分布环境安装HBase
解压文件,重命名[root@centos local]# tar -zxvf hbase-0.94.7-security.tar.gz[root@centos local]# mv hbase-0.94.7-security hbase-0.94.7 在/etc/profile中配置环境变量 export HBASE_HOME=/usr/local/hbase-...原创 2015-08-10 15:08:16 · 116 阅读 · 0 评论 -
HBase Shell And JavaAPI使用
HBase shell操作表创建#进入hbase shell[root@centos bin]# hbase shell#创建一张user表,有三个列族hbase(main):001:0> create 'user','uid','address','info44'#查看表hbase(main):002:0> listTABLEuser...原创 2015-08-12 15:45:54 · 95 阅读 · 0 评论 -
Hive And MySQL安装及设置
Hive安装 解压[root@centos local]# tar -zxvf hive-0.9.0 配置/etc/profile环境变量export HIVE_HOME=/usr/local/hive-0.9.0export PATH=.:$HADOOP_HOME/bin:$HBASE_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/...原创 2015-08-17 15:38:48 · 55 阅读 · 0 评论 -
hadoop 2.2.0 伪分布安装
Linux配置1、配置ip地址:192.168.56.100/242、修改主机名:/etc/sysconfig/network3、修改主机名和IP地址的映射:/etc/hosts4、关闭防火墙: service iptables stop、chkconfig iptables offreboot解压命令:tar -zxvf 安装jdk解压j...原创 2015-09-18 23:01:50 · 87 阅读 · 0 评论 -
Hadoop hdfs-site.xml文件常用配置
name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保...原创 2015-05-27 14:49:34 · 258 阅读 · 0 评论