![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 53
kitiy
这个作者很懒,什么都没留下…
展开
-
hadoop机架感知--加强集群稳固性,该如何配置hadoop机架感知
转自:http://www.aboutyun.com/thread-6786-1-1.html我们知道hadoop集群具有容错性,分布式等特点,为什么会具有这些特点,下面是其中原理之一。分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器转载 2016-06-12 23:09:12 · 193 阅读 · 0 评论 -
hadoop随笔一之环境搭建及hdfs增删改查
1.虚拟机版本VMware® Workstation 12 Pro 12.1.1 build-3770994 安装略2.os为centos7.2 ,jdk1.8 centos安装略 jdk官网下载,tar -zxvf 解压,配置/etc/profile jdk环境变量3.官网下载hadoop,我这里用我原来下的hadoop2.7,安装的单机伪分布模式,笔记本配置不高,没办原创 2016-07-01 14:26:57 · 425 阅读 · 0 评论 -
hadoop随笔二之MR-wordcount小试
基于随笔一搭建的环境,跑个wordcount任务测试。代码如下:public class WordCount { static final String INPUT_PATH = "hdfs://192.168.67.100:9000/input"; static final String OUT_PATH = "hdfs://192.168.67.100:9000/output";原创 2016-07-04 19:34:50 · 217 阅读 · 0 评论 -
hadoop随笔三之hive2.1安装(元数据存储oracle)
1.官网下载hive2.1,并解压2.配置/etc/profile3.配置hive-site.xml将模版复制cp 一份,并配置连接oracle信息.4。执行命令 schematool -dbType mysql -initSchema5.启动 ./bin/hive创建wordcount表,用于存放随笔二的执行结果语句:create table wordco原创 2016-07-04 23:37:17 · 543 阅读 · 0 评论 -
hadoop随笔四之eclipse连接hive
基于前面的hive表wordcount1,eclipse里读取1. core-site.xml增加 hadoop.proxyuser.hive.hosts * hadoop.proxyuser.hive.groups * 2.hive-site。xml增加原创 2016-07-05 19:44:25 · 572 阅读 · 0 评论