- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MapReduce运行的例子
大家对mapreduce的原理相信也都能从百度中看到 下面做了一个小例子 统计字符的出现次数写MapReduce例子例子说明：统计hdfs文件系统中的words.txt单词个数。 Ø 导入相关的jar包导入${HADOOP-HOME}/share/hadoop/mapreduce红色选中部分的包。 和导入${HADOOP-HOME}/share/hadoo
2016-01-25 00:13:11
1070
原创 远程Debug
远程debugØ JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组
2016-01-25 00:07:59
592
原创 HADOOP的RPC机制
Ø 什么是Hadoop的RPC?Remote Procedure Call（简称：RPC):远程过程调用协议。RPC是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 Ø
2016-01-25 00:05:53
664
原创 HDFS介绍及结构和shell操作
1.分布式文件系统与HDFSØ 什么是分布式文件系统？当数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 （Distributed File System）。 l 分布式文件系统的定义：是一种允许文件通过网络在多台主机上分享的文件的系统，可让多机器
2016-01-15 00:14:59
508
原创 SSH免密码登录的配置
l 生成ssh免登陆密钥 #进入到我的home目录cd ~/.ssh ssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） l 将公钥拷贝到要免登陆的机器上ssh-copy-id 登录机器的地址或名称(配置了映射) 进行ssh登录时的个人理解当配置完时,在进行登录操
2016-01-13 22:38:43
1526
原创 WMWare中的liunx系统的clone
1.编辑 hosts Vim /etc/hosts 多设置集合ip映射关系(vi编辑器中的整行（多行）复制与粘贴就非常必要了。 1、复制 1）单行复制 在命令模式下，将光标移动到将要复制的行处，按“yy”进行复制； 2）多行复制 在命令模式下，将光标移动到将要复制的首行处，按“nyy”复制n行；其中n为1、2、3…… 2、粘贴
2016-01-12 23:54:22
448
原创 Hadoop环境测试
Ø 测试HDFS HDFS shell操作#查看帮助hadoop fs -help #上传hadoop fs -put 上文件> 上的路径>#查看文件内容hadoop fs -cat 上的路径>#查看文件列表hadoop fs -ls /#下载文件hadoop fs -get 上的路径> 上文件> 上传文件到hdfs文件系统上hadoop
2016-01-12 22:46:31
681
原创 hadoop单机版搭建过程
l 上传hadoop2.4.1编译后的包并解压到/hadoop目录下mkdir /hadoop解压tar -zxvf hadoop.2.7.0.tar.gz -C /hadoop l 配置hadoop注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件第一个：hadoop-env.shvim h
2016-01-11 23:27:41
503
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人