- 博客(12)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 mapReduce体系结构和各种算法 笔记六
mapReduce体系结构和各种算法 Mapreduce的工作机制 任务执行优化 推测式执行: jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务 在mapred-site.xml中设置map和reduce任务的开启和关闭 Mapred.map.tasks.speculative.execution Mapre
2015-10-16 13:09:29
407
mapReduce体系结构和各种算法 笔记六
mapReduce体系结构和各种算法 Mapreduce的工作机制 任务执行优化 推测式执行:jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务 在mapred-site.xml中设置map和reduce任务的开启和关闭 Mapred.map.tasks.speculative.execution Mapred.reduce.t...
2015-10-16 13:09:00
136
原创 Hdfs体系结果及shell java操作方式 笔记五
Hdfs体系结果及shell java操作方式 hdfs设计基础 硬件错误需要冗余 流式数据访问(数据分析) 大规模数据集 简单一致性模型,文件一次写入就不能修改 程序采用”数据就近”原则分配节点执行 主节点:只有一个nameNode 记录文件是如何分割成数据块,以及数据块存储在哪些节点上 对内存和i/o进行管理 接收用户操作请求 维护文件系统的目录结构 管理文件与b
2015-10-16 13:03:01
483
Hdfs体系结果及shell java操作方式 笔记五
Hdfs体系结果及shelljava操作方式 hdfs设计基础 硬件错误需要冗余 流式数据访问(数据分析) 大规模数据集 简单一致性模型,文件一次写入就不能修改 程序采用”数据就近”原则分配节点执行 主节点:只有一个nameNode 记录文件是如何分割成数据块,以及数据块存储在哪些节点上 对内存和i/o进行管理 接收用户操作请求 维护文件系统的目录结构 管理文件与blo...
2015-10-16 13:03:00
94
原创 Hadoop中eclipse 插件的编译 笔记四
Hadoop中eclipse 插件的编译 修改 hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java 注掉 //import org.eclipse.jdt.internal.debug.ui.la
2015-10-16 12:59:39
442
Hadoop中eclipse 插件的编译 笔记四
Hadoop中eclipse插件的编译 修改 hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java 注掉 //importorg.eclipse.jdt.internal.debug.ui.launcher...
2015-10-16 12:59:00
79
原创 使用hadoop自带的例子作测试 笔记三
使用hadoop自带的例子作测试 Hadoop中的常用命令: //查看目录文件 root@vm:/software/hadoop/hadoop-0.20.2# bin/hadoop dfs -ls / Found 1 items drwxr-xr-x - root supergroup 0 2015-10-02 13:25 /opt #将操作系统中的文
2015-10-16 12:57:57
374
原创 hadoop的布暑方式 笔记二
Hadoop 部署方式: 本地单机模式: 伪分布模式： 关闭防火墙 service iptables stop //关闭防火墙 Service iptables status //查看防火墙状态 设置防火墙开机启动模式 Chkconfig iptables --list //查看 Gedit /etc/inittab //查看模式详情 Chkconfig iptabl
2015-10-16 12:57:03
353
使用hadoop自带的例子作测试 笔记三
使用hadoop自带的例子作测试 Hadoop中的常用命令: //查看目录文件 root@vm:/software/hadoop/hadoop-0.20.2#bin/hadoopdfs-ls/ Found1items drwxr-xr-x-rootsupergroup02015-10-0213:25/opt #将操作系统中的文件放到hadoop中 Hadoopdfs-put本...
2015-10-16 12:57:00
125
hadoop的布暑方式 笔记二
Hadoop部署方式: 本地单机模式: 伪分布模式： 关闭防火墙serviceiptablesstop//关闭防火墙 Serviceiptablesstatus//查看防火墙状态 设置防火墙开机启动模式 Chkconfigiptables--list//查看 Gedit/etc/inittab//查看模式详情 Chkconfigiptablesoff//关闭开机启动 修改i...
2015-10-16 12:57:00
118
原创 1 Hadoop原理介绍 笔记一
海量数据的存取 hdfs （hadoop distributed file system 分布式文件系统） 海量数据的分析 mapReduce (并行计算框架) Yarn (yet another resource negotiator 资源管理调度系统) Hadoop处理离线数据 Storm实时的流处理(如实时推荐) 解决海量数据计算 1+2+3+4+5+6+
2015-10-16 12:55:35
320
1 Hadoop原理介绍 笔记一
海量数据的存取hdfs（hadoopdistributedfilesystem分布式文件系统） 海量数据的分析mapReduce(并行计算框架) Yarn(yetanotherresourcenegotiator资源管理调度系统) Hadoop处理离线数据 Storm实时的流处理(如实时推荐) 解决海量数据计算1+2+3+4+5+6+7+8+9 Map:1+2+34...
2015-10-16 12:55:00
57
PacketTracer.rar
2021-01-23
emacs-26.3-x86_64.zip
2021-01-23
Rational Rose.zip
2021-01-23
GNS.rar网络虚拟软件
2021-01-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人