![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 86
iteye_10913
这个作者很懒,什么都没留下…
展开
-
Hadoop-源码解析-01-annotation
InterfaceAudience 类包含三个注解类型,用来被说明被他们注解的类型的潜在的使用范围(audience)。 @InterfaceAudience.Public: 对所有工程和应用可用 @InterfaceAudience.LimitedPrivate: 仅限于某些特定工程,如Comomn,HDFS等 @InterfaceAudience...原创 2015-03-11 14:07:35 · 68 阅读 · 0 评论 -
hadoop tunning
选项类型默认值描述dfs.block.sizeint64M有一个1T的文件,如果我的块size设置是默认的64M,那么在HDFS上产生的块将有1024000/64=16000块dfs.replicationint3存放数据文件的份数 ...原创 2015-04-10 00:20:29 · 101 阅读 · 0 评论 -
05_ZooKeeper
1.ZooKeeper 1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。2.如何搭建ZooKeeper服务器集群 2.1 zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。 2.2 在hadoop0的/usr/local目录下,解压缩zk....tar.gz,设置环境变量 2.3 在conf目录下,修改文件 cp zoo_sample.cf...原创 2015-03-30 00:40:05 · 74 阅读 · 0 评论 -
04_hadoop1.x的分布式安装
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 编辑各个节点的/etc/hosts,在...原创 2015-03-30 00:39:35 · 67 阅读 · 0 评论 -
03_hdfs操作
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls <path> 表示对hdfs下一级目录的查看 1.2 -lsr <path> 表示对hdfs目录的递归查看 1.3 -mkdir <path> 创建目录 1.4 -put <src> <des...原创 2015-03-30 00:39:01 · 80 阅读 · 0 评论 -
02_单节点安装
1.hadoop的伪分布安装 hadoop-1.2.01.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令 ...原创 2015-03-30 00:38:26 · 70 阅读 · 0 评论 -
Hadoop--CLI的解析
基于 Apache Commons CLI 的命令行设计通常情况下命令行处理有三个步骤:定义,解析和询问阶段一、定义package org.apache.hadoop.util;--GenericOptionsParser中private static Options buildGeneralOptions(Options opts) { Option fs = Opt...原创 2015-03-17 15:51:56 · 342 阅读 · 0 评论 -
Hadoop系列-IPC之代码实现
整体结构:在IPC包中,最重要的3个类是Server,Client和RPC,它们具有层次化的结构。RPC类是对Server、Client的具体化。在RPC类中规定,客户程序发出请求调用时,参数类型必须是Invocation;从服务器返回的值类型必须是ObjectWritable。为了加强理解,可以查看测试类TestIPC。在那里,规定的参数类型与返回值类型都是LongWritable...原创 2015-03-15 11:17:55 · 73 阅读 · 0 评论 -
amazon s3 简单使用
出处:http://www.cnblogs.com/topdog/archive/2012/01/09/2317081.html S3全称叫做 Amazon Simple Storage Service ,简单存储服务,Scalable Storage in the Cloud ,可扩展的云存储。好消息AWS Free Usage Tier*As part of the...原创 2015-03-13 14:34:45 · 1140 阅读 · 1 评论 -
Hadoop-RPC实现机制
整体结构:在IPC包中,最重要的3个类是Server,Client和RPC,它们具有层次化的结构。RPC类是对Server、Client的具体化。在RPC类中规定,客户程序发出请求调用时,参数类型必须是Invocation;从服务器返回的值类型必须是ObjectWritable。为了加强理解,可以查看测试类TestIPC。在那里,规定的参数类型与返回值类型都是LongWritable。...原创 2015-03-13 14:34:16 · 69 阅读 · 0 评论 -
HDFS--文件的读写流程
出处:http://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.html读文件的过程客户端(client)用FileSystem的open()函数打开文件DistributedFileSystem用RPC调用元数据节点,得到文件的数据块信息。对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。...原创 2015-03-12 23:04:34 · 106 阅读 · 0 评论 -
Amazon S3云存储服务器的功能及编程接口
出处:http://blog.csdn.net/iamshaofa/article/details/7877785 Amazon S3是一种云上的存储服务器,其功能仅在于存储。和普通的服务器不同,它没有操作界面,连一般的SSH命令登录功能都没有。和它打交道的话,一种办法是用它的管理界面,另一种是借助其编程接口。 1.名词和术语AWS Account:Amazon Web S...原创 2015-03-11 17:01:56 · 505 阅读 · 0 评论 -
Mahout--学习资料
IBM--推荐系统:http://www.ibm.com/developerworks/cn/java/j-lo-mahout/原创 2015-04-16 16:00:43 · 102 阅读 · 0 评论