- 博客(12)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 mapReduce体系结构和各种算法 笔记六
mapReduce体系结构和各种算法 Mapreduce的工作机制 任务执行优化推测式执行: jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务在mapred-site.xml中设置map和reduce任务的开启和关闭Mapred.map.tasks.speculative.executionMapre
2015-10-16 13:09:29
407
mapReduce体系结构和各种算法 笔记六
mapReduce体系结构和各种算法Mapreduce的工作机制任务执行优化推测式执行:jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务在mapred-site.xml中设置map和reduce任务的开启和关闭Mapred.map.tasks.speculative.executionMapred.reduce.t...
2015-10-16 13:09:00
136
原创 Hdfs体系结果及shell java操作方式 笔记五
Hdfs体系结果及shell java操作方式hdfs设计基础硬件错误需要冗余流式数据访问(数据分析)大规模数据集简单一致性模型,文件一次写入就不能修改程序采用”数据就近”原则分配节点执行 主节点:只有一个nameNode记录文件是如何分割成数据块,以及数据块存储在哪些节点上对内存和i/o进行管理接收用户操作请求维护文件系统的目录结构管理文件与b
2015-10-16 13:03:01
483
Hdfs体系结果及shell java操作方式 笔记五
Hdfs体系结果及shelljava操作方式hdfs设计基础硬件错误需要冗余流式数据访问(数据分析)大规模数据集简单一致性模型,文件一次写入就不能修改程序采用”数据就近”原则分配节点执行主节点:只有一个nameNode记录文件是如何分割成数据块,以及数据块存储在哪些节点上对内存和i/o进行管理接收用户操作请求维护文件系统的目录结构管理文件与blo...
2015-10-16 13:03:00
94
原创 Hadoop中eclipse 插件的编译 笔记四
Hadoop中eclipse 插件的编译修改 hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java 注掉//import org.eclipse.jdt.internal.debug.ui.la
2015-10-16 12:59:39
442
Hadoop中eclipse 插件的编译 笔记四
Hadoop中eclipse插件的编译修改hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java注掉//importorg.eclipse.jdt.internal.debug.ui.launcher...
2015-10-16 12:59:00
79
原创 使用hadoop自带的例子作测试 笔记三
使用hadoop自带的例子作测试Hadoop中的常用命令: //查看目录文件root@vm:/software/hadoop/hadoop-0.20.2# bin/hadoop dfs -ls /Found 1 itemsdrwxr-xr-x - root supergroup 0 2015-10-02 13:25 /opt #将操作系统中的文
2015-10-16 12:57:57
374
原创 hadoop的布暑方式 笔记二
Hadoop 部署方式:本地单机模式: 伪分布模式：关闭防火墙 service iptables stop //关闭防火墙 Service iptables status //查看防火墙状态设置防火墙开机启动模式Chkconfig iptables --list //查看Gedit /etc/inittab //查看模式详情 Chkconfig iptabl
2015-10-16 12:57:03
353
使用hadoop自带的例子作测试 笔记三
使用hadoop自带的例子作测试Hadoop中的常用命令://查看目录文件root@vm:/software/hadoop/hadoop-0.20.2#bin/hadoopdfs-ls/Found1itemsdrwxr-xr-x-rootsupergroup02015-10-0213:25/opt#将操作系统中的文件放到hadoop中Hadoopdfs-put本...
2015-10-16 12:57:00
125
hadoop的布暑方式 笔记二
Hadoop部署方式:本地单机模式: 伪分布模式：关闭防火墙serviceiptablesstop//关闭防火墙Serviceiptablesstatus//查看防火墙状态设置防火墙开机启动模式Chkconfigiptables--list//查看Gedit/etc/inittab//查看模式详情Chkconfigiptablesoff//关闭开机启动修改i...
2015-10-16 12:57:00
118
原创 1 Hadoop原理介绍 笔记一
海量数据的存取 hdfs （hadoop distributed file system 分布式文件系统）海量数据的分析 mapReduce (并行计算框架)Yarn (yet another resource negotiator 资源管理调度系统)Hadoop处理离线数据Storm实时的流处理(如实时推荐) 解决海量数据计算 1+2+3+4+5+6+
2015-10-16 12:55:35
320
1 Hadoop原理介绍 笔记一
海量数据的存取hdfs（hadoopdistributedfilesystem分布式文件系统）海量数据的分析mapReduce(并行计算框架)Yarn(yetanotherresourcenegotiator资源管理调度系统)Hadoop处理离线数据Storm实时的流处理(如实时推荐)解决海量数据计算1+2+3+4+5+6+7+8+9Map:1+2+34...
2015-10-16 12:55:00
57
PacketTracer.rar
2021-01-23
emacs-26.3-x86_64.zip
2021-01-23
Rational Rose.zip
2021-01-23
SPSS 24 64bit.zip
2021-01-23
GNS.rar网络虚拟软件
2021-01-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人