06-04 阅读数 1007
HadoopAPI命令上传文件hadoopfs-put文件hdfs文件夹hadoopfs-puttest.txt/files#将test.txt文件上传到hdfs文件夹files下删除文件hadoop... 博文 来自: 权飞虎
09-30 阅读数 132
转载地址:https://blog.csdn.net/wt346326775/article/details/53301117HadoopAPI被分成(divideinto)如下几种主要的包(pack... 博文 来自: learn_tech的博客
04-18 阅读数 2229
在Ubuntu虚拟机上启动了hadoop后,在windows机器上通过javaapi方式调用操作hdfs,在使用过程中遇到了一些问题。首先创建了一个maven项目,pom.xml文件中引入了hadoo... 博文 来自: 李鑫堂的学习记录
02-21 阅读数 429
博文 来自: wzx19840423的专栏
07-30 阅读数 2736
本文介绍使用Hadoop的CAPI访问HDFS,实现hdfs文件的读写,目录的读取等操作。文章使用的hadoop为单节点伪集群,安装方式及相关的配置说明参见前序文章(Hadoop安装-单节点伪集群)h... 博文 来自: cjf_wei的博客
哪个有hadoop2.2.0及其以上的api中文版???贡献一下吧 论坛
05-04 阅读数 172
从0.20.0版本开始,Hadoop同时提供了新旧两套MapReduceAPI。部分早期的0.20发行版本反对使用旧的api,但是后续版本中可以继续使用旧的api,因此1.x和2.x发行版本同时支持就... 博文 来自: 上善若水
hadoop中文版API.chm文件,查找hadoop的类中方法、方法的用法等,方便、好用 下载
02-25 阅读数 577
利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图:为了方便操作,将常用的文件读写操作封装了一个工具类:1importorg.apache.... 博文 来自: xyjikl
06-18 阅读数 604
在hadoop0.20.2版本之后,hadoop提供了一个新的api接口,用于开启hadoop代码。那么采用如下形式来实现:mapper和reducer类不再是接口而是抽象类,因此,map函数和red... 博文 来自: 渣渣
该文档格式为:.chm 其提供了Hadoop 安装、配置、使用等各方面的详细操作,值得大家下载! 下载
12-10 阅读数 1364
经常需要查阅,做一下笔记http://hadoop.apache.org/docs/http://hadoop.apache.org/docs/current1/api/http://hadoop.a... 博文 来自: IT徐胖子的专栏
12-22 阅读数 6157
HDFS是存取数据的分布式文件系统,HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linux文件命令类似的命令行工具。另一种是JavaAPI,即利用Hadoop的Java库... 博文 来自: yuan_xw的专栏
01-19 阅读数 2890
ApacheHadoop是入门点,或者我们可以说是进入整个大数据生态系统的基础。它是大数据生态系统中大多数高级工具,应用程序和框架的基础,但是在学习ApacheHadoop时,还需要事先知道一些事情。... 博文 来自: 纸上得来终觉浅,绝知此事要躬行
06-15 阅读数 2596
先给个在集群根目录下建立test目录的例子:Stringuri="hdfs://ip地址:端口号";Configurationconf=newConfiguration();FileSystemfs=... 博文 来自: lvqiuyao的专栏
02-10 阅读数 4120
之前分别介绍了使用Hadoop的CAPI操作HDFS和使用Hadoop的JavaAPI操作HDFS,在介绍Java访问方式时(CAPI不存在这样的问题),程序是部署在Hadoop安装环境的,这具有一定... 博文 来自: cjf_wei的博客
05-10 阅读数 447
packagecom.zlf;importjava.io.FileOutputStream;importjava.io.IOException;importorg.apache.commons.io.... 博文 来自: 欢迎各位大神指导,评论,互相学习~
09-14 阅读数 7002
目录 博文 来自: Thinkgamer博客
02-26 阅读数 5637
下面主要介绍几种常用的WebHDFS操作。5.1创建 创建一个目录/tmp/webhdfs。curl-i-XPUT"http://hadoop-master:14000/webhdfs/v1/tm... 博文 来自: 用心做事
02-15 阅读数 4107
HADOOPHDFSHBASEMAPREDUCEJAVAAPIHDFSJAVAAPI 博文 来自: Allocator的CSDN博客
03-01 阅读数 2403
条件准备 下载部署 下载Hadoop-2.7.3.tar.gz包,可以去官网下载。 然后部署在Linux上,可以参考点击打开链接 win下eclipse开发... 博文 来自: 上路者的博客
05-10 阅读数 249
packagecom.zlf;importjava.io.FileInputStream;importjava.io.IOException;importorg.apache.commons.io.I... 博文 来自: 欢迎各位大神指导,评论,互相学习~
10-28 阅读数 1144
HadoopYARN中web服务的RESTAPI介绍 HadoopYARN自带了一系列的webserviceRESTAPI,我们可以通过这些webservice访问集群(cluster)、节点(no... 博文 来自: fengwuwer的博客
11-30 阅读数 1
这段时间学习了python和hadoop,主要用于数据处理方面,因此打算写几篇这方面的博客。不过不是我的原创,我也是利用前辈的工作展示给大家。把自己学到的东西,也是比较初级的东西展示给需要的同学。首先... 博文 来自: 龙吟的专栏
05-27 阅读数 3333
看hadoop指南(有更好的源码),自己测试着写了一个小例子,在伪分布式上测试成功,对JAVA的一些API也不太了解,都是一个熟悉的过程吧。这个例子主要可以熟悉一些API,以及理解各个类之间的调用和转... 博文 来自: ShiZhixin的专栏
07-22 阅读数 1728
从0.20.0版本开始,Hadoop同时提供了新旧两套MapReduceAPI。新API在旧API基础上进行了封装,使得其在扩展性和易用性方面更好。新旧版MapReduceAPI的主要区别如下。(1)... 博文 来自: yongjian_luo的专栏
05-21 阅读数 284
Hadoop文件系统较普通的文件系统差异性主要在于其容错性,普通文件系统不能直接查看hadoop的hdfs对应的文件信息。文件存储起来之后,我们是需要可以访问才能够体现它的价值,hadoop提供了Fi... 博文 来自: lianggangzzu的博客
01-05 阅读数 1445
https://my.oschina.net/nivalsoul/blog/760113这篇文章介绍的就挺好 博文 来自: www.hohode.com
12-31 阅读数 626
Mapper类importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.... 博文
05-15 阅读数 1186
Hadoop现在同时提供了新旧的两套API接口。现在编写MR代码的时候,当然尽可能使用新的API接口。但是旧的API接口暂时也还有保留,也还能使用。实际项目开发的时候,尽量统一标准用一套API较好,以... 博文 来自: bitcarmanlee的博客
03-26 阅读数 5499
(1)添加必要的hadoopjar包。A、首先将Hadoop1.1.2.tar.gz解压到某一个磁盘下。B、右键选择工程,选择buildpath....,buildconfigurepath;C、将h... 博文 来自: menghuannvxia的专栏
02-11 阅读数 1392
通过API操作之前要先了解几个基本知识一、hadoop的基本数据类型和java的基本数据类型是不一样的,但是都存在对应的关系如下图如果需要定义自己的数据类型,则必须实现Writablehadoop的数... 博文 来自: 小黑
08-21 阅读数 1196
新老版本MapReduce中InputFormat、OutputFormat,JobAPI对比,以JobBuilder函数为例: 博文 来自: qq_34531825的博客
06-02 阅读数 388
这里参考《Hadoop权威指南》第三章相关内容,直接贴代码,比较简单,就不注释了。packagecom.hadoop.hdfs;importjava.io.ByteArrayOutputStream;... 博文 来自: 寸先生的AI道路
11-23 阅读数 3283
安装好hadoop后,可以在命令行启动客户端,通过命令行来操作hdfs,如:$bin/hadoopfs-ls///查看根目录下的内容$bin/hadoopfs-mkdir/user//在根目录下创建u... 博文 来自: 欢迎来到Jimmy的博客
10-11 阅读数 2万+
普通流视频(完整视频) http://vv.video.qq.com/geturl?vid=v00149uf4ir&otype=json 高清视频(分段视频) 1080P-fhd,超... 博文 来自: 专注于互联网架构技术,努力成为一名架构师
07-13 阅读数 5274
前言: 本文主要讨论如何判断整型相加溢出(overflow)的问题. 我们知道计算机里面整型一般是有限个字节(4 bytes for int)表示, 正是因为只能用有限个字节表示一个整型变量, ... 博文 来自: roaylchen的博客
10-30 阅读数 4442
一、代理模式为某个对象提供一个代理,从而控制这个代理的访问。代理类和委托类具有共同的父类或父接口,这样在任何使用委托类对象的地方都可以使用代理类对象替代。代理类负责请求的预处理、过滤、将请求分配给委托... 博文 来自: 小小本科生成长之路
11-07 阅读数 11万+
帐号相关流程注册范围 企业 政府 媒体 其他组织换句话讲就是不让个人开发者注册。 :)填写企业信息不能使用和之前的公众号账户相同的邮箱,也就是说小程序是和微信公众号一个层级的。填写公司机构信息,对公账... 博文 来自: 小雨同学的技术博客
12-17 阅读数 1万+
android IPC通信(上)-sharedUserId&&Messenger android IPC通信(中)-ContentProvider&&Socket 这篇我们将会着重介绍AI... 博文 来自: Shawn_Dut的专栏
09-22 阅读数 1万+
nginx是个好东西,Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambl... 博文 来自: maoyuanming0806的博客
01-31 阅读数 2万+
Hive的后端存储是HDFS,它对大文件的处理是非常高效的,如果合理配置文件系统的块大小,NameNode可以支持很大的数据量。但是在数据仓库中,越是上层的表其汇总程度就越高,数据量也就越小。而且这些... 博文 来自: yycdaizi的专栏
05-02 阅读数 2329
废话不多说,直接进入正题。 博文 来自: 谁念西风独自凉
02-02 阅读数 6万+
扫二维码关注,获取更多技术分享 本文承接之前发布的博客《 微信支付V3微信公众号支付PHP教程/thinkPHP5公众号支付》必须阅读上篇文章后才可以阅读这篇文章。由于最近一段时间工作比较忙,... 博文 来自: Marswill
09-01 阅读数 4111
最近学习了一下SRILM的源代码,分享一下学习笔记(最新完整版本),希望能够对大家了解SRI语言模型训练工具有些许帮助。限于本人水平,不足之处,望大家多多指教。 笔记的主要内容使用starUML及其逆... 博文 来自: 小厚书
06-29 阅读数 12万+
最近比较有空,大四出来实习几个月了,作为实习狗的我,被叫去研究Docker了,汗汗! Docker的三大核心概念:镜像、容器、仓库 镜像:类似虚拟机的镜像、用俗话说就是安装文件。 容器:类似一个轻量... 博文 来自: 我走小路的博客
11-25 阅读数 17万+
jquery/js实现一个网页同时调用多个倒计时(最新的) 最近需要网页添加多个倒计时. 查阅网络,基本上都是千遍一律的不好用. 自己按需写了个.希望对大家有用. 有用请赞一个哦! //js ... 博文 来自: websites
06-21 阅读数 1万+
command窗口是命令窗口,即为sqplus窗口,有命令提示符,识别sqlplus命令,基本的命令都可以执行 sql仅可执行DDL、select、DML等... 博文 来自: Ape55的博客
02-27 阅读数 46万+
pyCharm最近激活码过期,找到一个最新的activation code,可用期为2017一年。如下:BIG3CLIK6F-eyJsaWNlbnNlSWQiOiJCSUczQ0xJSzZGIiwib... 博文 来自: 无鞋童鞋的博客
01-28 阅读数 987
【SCOI2012】滑雪与时间胶囊 【题目描述】 a180285非常喜欢滑雪。他来到一座雪山,这里分布着M条供滑行的轨道和N个轨道之间的交点(同时也是景点),而且每个景点都有一编号i(1 与... 博文 来自: OI技术宅
12-16 阅读数 9万+
问题场景描述整个项目通过Maven构建,大致结构如下: 核心Spring框架一个module spring-boot-base service和dao一个module server-core 提供系统... 博文 来自: 开发随笔
06-10 阅读数 2万+
本文为斯坦福CS229的内容,也是CS224d课程的背景数学知识。概括了在机器学习和深度学习中用到的大部分线性代数知识。为了便于大家查漏补缺,这里根据英文版本整理了一个中文版本。... 博文 来自: 寒小阳
06-22 阅读数 1万+
一:背景 作为一名C++开发人员,我一直很期待能够像C#与JAVA那样,可以轻松的进行对象的序列化与反序列化,但到目前为止,尚未找到相对完美的解决方案。 本文旨在抛砖引玉,期待有更好的解决方案;同... 博文 来自: TragicGuy的专栏
07-09 阅读数 370
http://blog.csdn.net/u013943420/article/details/72551862#t27 chown -hR username:groupname ./目录名 其中:... 博文 来自: ADreamClusive的博客
11-16 阅读数 30万+
强连通分量: 简言之 就是找环(每条边只走一次,两两可达) 孤立的一个点也是一个连通分量 使用tarjan算法 在嵌套的多个环中优先得到最大环( 最小环就是每个孤立点) 定义: int Ti... 博文 来自: 九野的博客
11-19 阅读数 2万+
# yum install yum-utils 设置源: [base-src] name=CentOS-5.4 - Base src - baseurl=http://vault.ce... 博文 来自: linux/unix
03-15 阅读数 7191
All about ML. 博文 来自: timcompp的博客
12-14 阅读数 518
本文主要总结Qt5.9在编译MQTT3.1时,遇到的问题和对应的解决办法。 一、我用上述的编译环境构建时,出现了如下错误: D:\1Project\Qt5project\qmqtt-master\sr... 博文 来自: 净无邪博客
05-31 阅读数 8790
若函数的返回值是指针,且用const修饰,则函数返回值指向的内容是常数,不可被修改,此返回值仅能赋值给const修饰的相同类型的指针。如: 1 const int * f1(){ 2 ... 博文 来自: 教学 & 技术专栏
没有更多推荐了,返回首页
0