- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 3,Hadoop中常用概念的深入理解
HDFS中角色：NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。DataNode：Slave节点，奴隶，干活的。负责存储client发来的数...
2018-09-26 10:32:56
834
原创 7.MapReduce
一 MapReduce 入门1.1 MapReduce 定义Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架。Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 hadoop 集群上。1.2 MapReduce 优缺点1.2.1 优点1 ）MapRed...
2018-09-20 15:17:50
698
原创 通过IO流操作HDFS
package com.atguigu.hdfs;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;...
2018-09-13 15:26:59
993
1
原创 客户端操作HDFS文件系统（文件上传下载）
package com.atguigu.hdfs;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;i...
2018-09-13 15:24:32
1260
原创 4,配置hadoop服务器集群
准备将hadoop103，hadoop104，hadoop105这三台服务器配置成集群，现在先将hadoop102配置好然后将内容同步到这三台服务器上环境准备1，编辑hadoop-env.sh 配置JDK2，编辑core-site.xml 配置NameNode的地址和hadoop运行时产生文件的存储目录<!--配置HDFS的NameNode-->...
2018-09-12 10:35:19
770
原创 3,VMware 克隆多台Linux机器并修改IP等配置
克隆完服务器后修改配置：1，修改网卡配置 vi /etc/udev/rules.d/70-persistent-net.rules 删除掉第一个网卡配置，将第二个网卡名称修改成eth0 记录下mac地址修改hwaddr的值2，修改mac地址vi /etc/sysconfig/network-scripts/ifcfg-eth03，...
2018-09-12 10:05:26
836
原创 数组二（有序数组）
package com.travelsky.array;/**有序数组 * @author huangyu * */public class MyOrderArray { private long[] arr; private int elements; public MyOrderArray(){ arr = new long[50]; } public...
2018-09-05 16:55:44
731
原创 数组一（无序数组）
package com.travelsky.array;/**无序数组 * @author huangyu * */public class MyArray { //声明一个数组 private long[] arr; //有效数据的长度 private int elements; //无参构造函数，默认长度为50 public MyArray(){ arr ...
2018-09-05 16:53:22
2826
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人