hadoop
沙漠662
自学javaEE
展开
-
Hadoop hdfs增删该查 简单写法
package cn.itheima.bigdata.hadoop.hdfs;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import原创 2015-07-25 11:02:03 · 465 阅读 · 0 评论 -
RPC远程调用原理
RPC(Remote Procedure Call Protocol)——远程过程调用协议1.其实是利用scoket在机器A中如果要调用机器B中的方法A机器可以先调用 socket方法 socket方法机会调用 在B机器上的socket服务 B机器上的socket服务就会调用B机器上的方法 A机器中的方法 就调用了B机器的方法2.怎么知道可以调用哪些方法呢,还要原创 2016-09-10 09:57:07 · 743 阅读 · 0 评论 -
hadoop hdfs分布式文件系统工作原理
非HA下的namenode 工作原理nameNode的作用:1.管理元数据 2.维护目录树 3.响应客户请求(主要就是记录一些 真实数据存放在 被切割后 放在了 哪些机器上,等客户端下载时 找到这些文件块 在合并返回给客户端)1.当客户端没请求一次时 nameNode都要记录这次请求记录 在给客户端响应nameNode的元数据是非常庞大的,还要保证效率,怎么做的?原创 2016-09-10 09:41:05 · 1177 阅读 · 0 评论 -
hadoop中的序列化
在hadoop中,普通的java类不适合做网络序列化传输,hadoop对java的类型进行了封装,一边以利用hadoop的序列化框架进行序列化传输如Long:LongWritable原创 2016-02-26 11:20:17 · 458 阅读 · 0 评论 -
hadoop中namenode中的edit.log文件查看
将edit.log的二进制文件变成xml文件查看内容截图如下原创 2016-02-25 15:16:52 · 2331 阅读 · 0 评论 -
HBASE集群搭建
1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 //告诉hbase使用外部的zk e原创 2015-08-08 08:49:02 · 315 阅读 · 0 评论 -
hadoop mapreduce的job的几种运行模式
mr job的几种运行模式1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器 执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner (main函数所在的类) 这种方式会将这个job提交到yarn集群上去运行原创 2015-07-27 21:15:01 · 913 阅读 · 0 评论 -
hadoop2.4.1伪分布式搭建
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->原创 2015-07-25 11:04:33 · 351 阅读 · 0 评论 -
hadoop Hdfs文件上传下载
package cn.itheima.bigdata.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.co原创 2015-07-25 11:00:26 · 730 阅读 · 0 评论 -
使用hadoop中的RPC框架实现远程调用
liunx系统中运行的方法协议package cn.itcast.hadoop;public interface UserLoginServiceProtocol { public static final long versionID = 1L; public String login(String username,String password); }实现pa原创 2016-09-10 10:02:11 · 884 阅读 · 0 评论