![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 76
retacn
这个作者很懒,什么都没留下…
展开
-
Hdfs体系结果及shell java操作方式 笔记五
Hdfs体系结果及shell java操作方式hdfs设计基础硬件错误需要冗余流式数据访问(数据分析)大规模数据集简单一致性模型,文件一次写入就不能修改程序采用”数据就近”原则分配节点执行 主节点:只有一个nameNode记录文件是如何分割成数据块,以及数据块存储在哪些节点上对内存和i/o进行管理接收用户操作请求维护文件系统的目录结构管理文件与b原创 2015-10-16 13:03:01 · 482 阅读 · 0 评论 -
1 Hadoop原理介绍 笔记一
海量数据的存取 hdfs (hadoop distributed file system 分布式文件系统)海量数据的分析 mapReduce (并行计算框架)Yarn (yet another resource negotiator 资源管理调度系统)Hadoop处理离线数据Storm实时的流处理(如实时推荐) 解决海量数据计算 1+2+3+4+5+6+原创 2015-10-16 12:55:35 · 317 阅读 · 0 评论 -
mapReduce体系结构和各种算法 笔记六
mapReduce体系结构和各种算法 Mapreduce的工作机制 任务执行优化推测式执行: jobtracker会将执行慢的任务kill掉,启动一个新的相同备份任务在mapred-site.xml中设置map和reduce任务的开启和关闭Mapred.map.tasks.speculative.executionMapre原创 2015-10-16 13:09:29 · 405 阅读 · 0 评论 -
使用hadoop自带的例子作测试 笔记三
使用hadoop自带的例子作测试Hadoop中的常用命令: //查看目录文件root@vm:/software/hadoop/hadoop-0.20.2# bin/hadoop dfs -ls /Found 1 itemsdrwxr-xr-x - root supergroup 0 2015-10-02 13:25 /opt #将操作系统中的文原创 2015-10-16 12:57:57 · 372 阅读 · 0 评论 -
Hadoop中eclipse 插件的编译 笔记四
Hadoop中eclipse 插件的编译修改 hadoop-0.20.2\src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java 注掉//import org.eclipse.jdt.internal.debug.ui.la原创 2015-10-16 12:59:39 · 440 阅读 · 0 评论 -
hadoop的布暑方式 笔记二
Hadoop 部署方式:本地单机模式: 伪分布模式:关闭防火墙 service iptables stop //关闭防火墙 Service iptables status //查看防火墙状态设置防火墙开机启动模式Chkconfig iptables --list //查看Gedit /etc/inittab //查看模式详情 Chkconfig iptabl原创 2015-10-16 12:57:03 · 352 阅读 · 0 评论 -
Hbase(nosql)体系结构有基本操作 笔记八
5 Hbase(nosql)体系结构有基本操作 flume pigGoogle bigtable的开源实现列式数据库可集群化可以使用shell web api多种方式访问适合高速读写的场景Hql查询语言noSQL的典型代表 逻辑模型以表的形式存放数据表由行和列组成,每个列属于某个列族,由行和列确定的存储单元称为元素每个元素保存了同一份数据的多个原创 2015-12-07 12:59:07 · 480 阅读 · 0 评论 -
zookeeper的安装与配置 笔记七
Zookeeper 可以实现同步服务,配置维护和名命服务可以保证集群之间的数据的事务的一致性 Zk的安装与配置下载安装包,解压到指定目录修改环境变量Gedit /etc/profile 添加如下内容:(未作修改)Export ZK_HOME=/software/zookeeper/zookeeper-3.3.2/dataExport PATH=.:$HADOOP_H原创 2015-12-07 12:56:45 · 331 阅读 · 0 评论