大数据hadoop
姹紫_嫣红
生活也好,工作也好,本来就是消磨人的事儿,要在被消磨之间反身抗衡是需要勇气的。
博客园:http://www.cnblogs.com/xleer/
展开
-
DEPRECATED: Use of this script to execute hdfs command is deprecated
本人安装的hadoop版本是2.6.0的,但每次执行命令时都会显示下面的信息 [hadoop@masterhadoop]$ hadoop dfs -lsDEPRECATED: Use ofthis script. to execute hdfs command is deprecated.Instead use the hdfscommand for it. 原来从0.21转载 2015-07-25 15:54:40 · 5951 阅读 · 0 评论 -
HBase编程实例
在前文中安装了Hbase,通过Hbase shell可以进行一些操作,但是和实际的编程实例联系起来不方便,因此本文介绍有关Hbase编程的实例。一、使用Eclipse开发HBase应用程序1,在Eclipse中新建一个Java Project,命名为HBaseTest,然后右键Properties中选择Java Build Path,选择Add External Jars,将H转载 2016-01-05 17:35:00 · 634 阅读 · 0 评论 -
Hadoop+HBase+ZooKeeper三者关系与安装配置
这里有几个主要关系:1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储。2.ZooKeeper跟Hadoop Core、HBase有什么关系呢?ZooKeeper都提供了哪些服务呢?主要有:管理Hadoo转载 2016-01-06 17:26:35 · 493 阅读 · 0 评论 -
hadoop系列:zookeeper(1)——zookeeper单点和集群安装
http://blog.csdn.net/yinwenjie/article/details/473614191、概述8月份的第一周,忙得晕头转向,为了解决OSGI-Felix 下 hibernate JPA的ClassLoader问题,就耽误了至少两天时间,还好在周五系统成功在servicemix上运行了。已经几天时间没有碰博客了,刚好下周有安排给实验室的几个大神讨论zookee转载 2016-01-06 17:36:53 · 693 阅读 · 0 评论 -
tu
原创 2015-12-22 13:04:57 · 530 阅读 · 0 评论 -
学习使用apache comments io包中的IOUtils中的方法
package com.tiewoba.apache.comments; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; i转载 2015-12-24 15:19:42 · 646 阅读 · 0 评论 -
FilesystemReader输出HDFS上的文件内容
代码如下:import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.ha原创 2015-12-24 15:23:35 · 940 阅读 · 0 评论 -
sqoop使用
1.开启sqoop 2. Client连接到服务端:set server --host 127.0.0.1 --port 12000 --webapp sqoophttp://blog.csdn.net/zhangzhaokun/article/details/44256569原创 2016-08-02 09:09:24 · 417 阅读 · 0 评论 -
可用性和可靠性的区别
可用性和可靠性区别简介可用性(Availability)是关于系统可供使用时间的描述,以丢失的时间为驱动(Be DrivenBy Lost Time)。可靠性(Reliability)是关于系统无失效时间间隔的描述,以发生的失效个数为驱动(Be Driven By Number of Failure)。两者都用百分数的形式来表示。在一般情况下,可用性不等于可靠性,只有在没有宕机和失效发生的理想...原创 2017-01-05 20:01:37 · 29820 阅读 · 1 评论 -
ubuntu14.04安装hbase1.0.2
ubuntu14.04伪分布式安装Hbase:jar包下载地址:http://mirrors.hust.edu.cn/apache/hbase/ 1.将Hbase的jar包解压到/usr/local/文件夹下:sudo tar -zxvf hbase-1.0.2-bin.tar.gz2.修改Hbase文件夹的权限和所有者:3.配置Hbase文件。原创 2015-12-19 18:49:51 · 1059 阅读 · 0 评论 -
ubuntu14.04安装hadoop2.6.03
ubuntu14.04安装hadoop2.6.0,1.先创建hadoop用户:查看创建的用户在/home/下面有了文件夹:2.安装ssh:3.切换到hadoop用户下,然后启动ssh服务,验证用密码登陆localhost4.退出,配置ssh无密码登陆localhost把根目录下的~/.ssh/id_rsa.pub 复制到~/.原创 2015-12-19 16:14:45 · 467 阅读 · 0 评论 -
经典的MapReduce单词技术程序
21世纪60年代人们就开始尝试使用多台计算机并行工作对大规模数据进行处理, 常用的是将耦合度低的作业与步骤分散到不同的计算机中处理,(但是这杨并不是真正的分布式计算,因为其工作可以由独立的计算机完成,仅仅是耗费一定的时间而已。)分布式运算框架的算法和设计很多,主要思路是:(搭建供系统中供所有计算机共享的一个文件系统来提供数据存储的底层支持,并在其之上创建一个用于对数据进行处理的原创 2015-09-11 20:13:41 · 957 阅读 · 0 评论 -
HBase之Bulk Load实现快速导入数据
目录: 【1】传统的HTableOutputFormat写HBase有什么问题? 【2】BulkLoad的流程与实现? 【3】说明 【1】传统的HTableOutputFormat写HBase有什么问题?通常的Mapreduce在写入HBase时使用的是TableOutputFormat方式,在Reduce中直接生成Put对象写入到HBase。该方式转载 2015-10-19 17:36:26 · 2165 阅读 · 0 评论 -
HDFS上传文件的命令使用
打开Hadoop,sbin/start-all.sh上传文件:bin/hadoop fs -put /home/xleer/1.txt /user/hadoop/input1/查看HDFS中的文件:bin/hadoop fs -ls /user/hadoop/input1/*在hdfs中创建文件夹:bin/hadoop fs -mkdir -p /user/h原创 2015-11-10 16:03:47 · 32881 阅读 · 1 评论 -
欢迎使用CSDN-markdown编辑器
导读:Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,Apache HBase是运行于HDFS顶层的NoSQL(=Not Only SQL,泛指非关系型的数据库)数据库系统。区别于Hive,HBase具备随即读写功能,是一种面向列的数据库。 转自中国存储网,原文链接:http://www.chinastor.com/a/hbase/0G3Z532014.html转载 2015-09-22 11:23:48 · 413 阅读 · 0 评论 -
hadoopwordcount代码分析
package com.felix;import java.io.IOException;//java 输入输出文件异常类import java.util.Iterator; Iterator是迭代器类import java.util.StringTokenizer;用来对字符串进行切import org.apache.hadoop.fs.Path;import org.apa原创 2015-12-30 16:31:13 · 701 阅读 · 0 评论 -
mapreduce中的context类
在Mapper中的map、以及Reducer中的reduce都有一个Context的类型 1 public void map(Object key, Textvalue, Context context) 2 throwsOException,InterruptedException{ 3 StringTokenizer itr = new Str转载 2015-12-30 16:46:35 · 10349 阅读 · 0 评论 -
Hadoop之Hbase数据库的应用
用Java代码实现hadoop平台上Hbase数据库中数据的增、删、改、查功能。代码分析:import java.io.IOException;import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.ha原创 2015-09-10 17:59:18 · 603 阅读 · 0 评论 -
HDFS基本命令
HDFS基本命令:Hadoop fs -cmd <args>cmd: 具体的操作,基本上与UNIX的命令行相同args:参数HDFS资源URI格式:scheme://authority/pathscheme:协议名,file或hdfsauthority:namenode主机名path:路径示例:hdfs://localhost:9000/user/chunk/test.txt假设已经在...转载 2016-10-29 17:20:30 · 348 阅读 · 0 评论