
Hadoop
Hadoop
Python魔法师
一名老码农,为你分享Python魔法,Python爬虫,Python兼职接单,大数据,Java,副业搞钱的心得。公众号【Python魔法师】
展开
-
Hadoop生态系统介绍
Hadoop生态系统Hadoop1.x 的各项目介绍1. HDFS2. MapReduce3. Hive4. Pig5. Mahout6. ZooKeeper7. HBase8. Sqoop9. Flume10. Ambari Hadoop生态系统 当今的Hadoop已经成长为一个庞大的体系,只要有和海量数据相关的领域。都有Hadoop的身影。 Hadoop生态系统图谱原创 2017-03-26 18:42:32 · 736 阅读 · 0 评论 -
Hadoop1.x HDFS系统架构
1. HDFS中的一些概念1.1 数据块1.2 NameNode和DataNode1.2.1 管理者:Namenode1.2.1 工作者:Datanode1.3 Secondary Namenode1.4 HDFS的优缺点2. HDFS的架构2.1 HDFS架构之NameNode和DataNode2.2 Namenode和Secondary Namenode运行关系3. HDFS文件的读写流程3.原创 2017-03-26 18:42:35 · 567 阅读 · 0 评论 -
Hadoop本地安装
安装JDK卸载已经安装的JDK安装sun公司的JDK安装Hadoop(本地方式)解压并安装启动测试程序 安装JDK 卸载已经安装的JDK rpm -qa|grep jdkrpm -qa|grep gcjyum -y remove java java-1.4.2.......115 安装sun公司的JDK 解压jdk-6u24-linux-i586.bin文件到/o原创 2017-03-26 18:42:40 · 409 阅读 · 0 评论 -
Hadoop1.1.2伪分布式安装
一、安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二、SSH免密码登陆生成秘钥文件测试免密码登陆是否成功三、安装JDK1. 授予执行权限2. 解压缩3. 配置环境变量4. 测试安装四、安装Hadoop1、解压缩hadoop-1.1.2.tar.gz2、添加到环境变量中3、使设置立即原创 2017-03-26 18:42:45 · 572 阅读 · 0 评论 -
Hadoop1.1.2伪分布式安装笔记
<span style='font-size:11.0pt;mso-bidi-font-family:宋体; mso-font-kerning:22.0pt;mso-ansi-language:ZH-CN'>一、设置Linux的静态IP<span style='font-size:11.0pt;mso-bidi-font-family:宋体;mso-font-kerning:22.0pt;原创 2017-03-26 18:38:08 · 328 阅读 · 0 评论 -
Hadoop的概念、版本、发展史
Hadoop是什么?Hadoop的起源Hadoop发展史Hadoop的四大特性(优点)Hadoop的版本如何选择Hadoop版本 Hadoop是什么? Hadoop: 适合大数据的分布式存储和计算平台 Hadoop不是指具体一个框架或者组件,它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据原创 2017-03-26 18:42:25 · 1211 阅读 · 0 评论 -
hadoop安装笔记
一、设置Linux的静态IP修改桌面图标修改,或者修改配置文件修改1、先执行ifconfig,得到网络设备的名称eth02、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件设置静态ip、dns、ip地址、子网掩码、网关等信息3、重启网卡:service network restart最后执行ifconfig命令查看是否修改成功该步骤需保证虚拟机中的Linu原创 2015-05-04 10:11:41 · 397 阅读 · 0 评论