![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
绝地反击T
世界那么大,我想去看看。
展开
-
转:Hadoop学习与安装
学习目标: 使用Hadoop分布式系统(HDFS)来海量存储数据集,通过MapReduce堆这些数据集运行分布式计算 熟悉Hadoop的数据和IO组件,用于压缩、数据集成、序列化和持久处理 熟悉编写MapReduce实际应用时的常见陷阱和高级特性 设计、勾践和管理一个专用的Hadoop集群或在云上运行Hadoop 使用高级查询语言Pig来处理大规模转载 2015-01-11 13:08:18 · 604 阅读 · 0 评论 -
hadoop学习笔记之分布式计算框架
分布式计算框架:移动计算而不是移动数据,移动计算就是把你写好的计算程序拷贝到不同的计算节点上运行MapReduce适合做离线计算Storm适合做流失计算Spark适合做内存计算框架从HDFS上存储的数据作为我们MapReduce的一个输入,首先把一个文件切成片,然后map计算 接着shuffle,接着reduce,最终把结果存储在HDFS文件系统上面。原创 2015-10-04 19:02:55 · 983 阅读 · 0 评论 -
Hadoop生态系统小记
www.easyhadoop.comHadoop能解决哪些问题(Hadoop集群把淘汰的机器放在一起)Hadoop需求 海量数据需要及时分析和处理 海量数据需要深入分析和挖掘 数据需要长期保存Hadoop的问题是: 磁盘IO成为一种瓶颈,而非CPU资源 网络带宽是一种稀缺资源 硬件故障称为影响稳定的一大因素转载 2015-04-02 09:21:40 · 599 阅读 · 0 评论 -
云计算、Hadoop小记
Hadoop与云计算云计算是服务模式和拥有模式的革命网格计算:具体的集群的计算技术云计算的特征:自我服务、按使用量计费、弹性框架、可定制化 云计算怎样降低成本:1、提高软硬件使用率2、集中管理降低能耗3、节约维护人员费用云计算模式也会增加成本1、安全风险2、可用性风险3、绑架风险云计算的形态1、私有云:企业内部2、公有云:面向原创 2015-03-22 10:45:56 · 557 阅读 · 0 评论 -
安装配置Hadoop的各个配置文件修改的地方以及修改的内容
hadoop-env.sh 记录脚本要用的环境变量,以运行hadoop编辑hadoop-env.sh来配置jdk的安装路径export JAVA_HOME=/usr/java/jdk1.7.0_51core-site.xml hadoop core的配置项,例如hdfs和mapreduce常用的i/o设置等hdfs-site.xml hadoop守护进程的配置项,包括n原创 2015-01-25 10:31:09 · 1741 阅读 · 0 评论 -
安装配置Hadoop的各个配置文件修改的地方以及修改的内容
hadoop-env.sh 记录脚本要用的环境变量,以运行hadoop hadoop-env.sh:export JAVA_HOME=/usr/java/jdk1.7.0_51(设置java环境变量),即jdk的安装目录core-site.xml hadoop core的配置项,例如hdfs和mapreduce常用的i/o设置等hdfs原创 2015-01-25 10:18:45 · 3525 阅读 · 0 评论 -
hadoop命令介绍
namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式化,启动时自动创建 同一个d转载 2015-01-15 23:26:32 · 568 阅读 · 0 评论 -
Hadoop的一些常识性介绍
原创 2015-01-14 22:50:05 · 557 阅读 · 0 评论 -
Hadoop介绍、HDFS和MapReduce工作原理、Hadoop中的JobTracker 和TaskTracker
◦JobTracker接受作业提交,监控和控制作业运行,负责将任务分发到TaskTracker节点◦TaskTracker控制Map/Reduce任务中当前节点的运行原创 2015-01-13 23:38:06 · 1978 阅读 · 0 评论 -
Hadoop简介_Hadoop集群_Hadoop安装配置
Hadoop集群(第5期)_Hadoop安装配置 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透转载 2015-01-12 21:38:19 · 682 阅读 · 0 评论 -
在Linux(CentOS6.2)服务器上配置hadoop时遇到的一些问题以及一些解决办法
配置Hadoop时,注意,修改了配置文件后要先停止,用命令stop-all.sh后再开始运行:start-all.sh(记住每个都要启动包括master和slave),这些命令在/usr/hadoop/bin下面,可以通过cd /usr/hadoop/bin进入此目录后,用ll命令或者ls命令就可以看到许多Hadoop的命令,如下图:这样后,再用hadoop dfsadmin -r原创 2015-01-11 12:42:36 · 835 阅读 · 0 评论 -
配置hadoop各个节点之间免密码登录实践笔记
前言: 最近在搭建Hadoop环境需要设置无密码登陆,所谓无密码登陆其实是指通过证书认证的方式登陆,使用一种被称为"公私钥"认证的方式来进行ssh登录。在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。原创 2015-11-17 21:12:36 · 6181 阅读 · 0 评论