愷风(Wei)的专栏

使用工具、了解工具、创造工具……

【分布式】hadoop安装篇(11)CDH安装中的问题:swappiness

现象在运行的过程中,即使我们看到host的内存仍富有余量,但是健康检查亮橙灯,会有Swapping Concerning的提示,例如6 pages were swapped to disk in the previous 15 minu...

2018-06-28 09:40:18

阅读数:171

评论数:0

【分布式】hadoop安装篇(10)在Ubuntu中使用CDH安装hadoop集群(下)

安装和配置cluster11)进入集群配置我们将在wei001,wei002和wei003中安装hadoop,hase,spark作为我们后续学习的基础。相应地选择了HDFS,YARN,Zookeeper,oozie,hive,hue,HBASE,Spark。2)配置数据库在mysql中新增数据库...

2018-06-21 15:54:53

阅读数:242

评论数:0

【分布式】hadoop安装篇(9)在Ubuntu中使用CDH安装hadoop集群(中)

安装CDH1)启动server服务在wei001中执行:sudo service cloudera-scm-server start此时我们进入数据库,可以看到scm里面有表格的创建。这个部署需要花费点时间,我们可以跟踪log文件(/var/log/cloudera-scm-server/clou...

2018-06-21 15:42:30

阅读数:106

评论数:0

【分布式】hadoop安装篇(8)在Ubuntu中使用CDH安装hadoop集群(上)

安装拓扑我们将采用parcel的安装方式,如果采用手动命令行安装,可以参考 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/ref-e7d8d791-4022...

2018-06-21 15:19:51

阅读数:199

评论数:0

【分布式】hadoop安装篇(7)Hadoop 3的伪分布模式安装

准备$ sudo apt-get install ssh $ sudo apt-get install pdsh我们还需要设置pdsh的rcmd,执行下面内容。或创建/etc/pdsh/rcmd_default,里面填入sshecho "ssh" &am...

2018-06-21 14:28:13

阅读数:263

评论数:0

【分布式】hadoop安装篇(6)Java API的验证

Maven<dependency> <groupId>org.apache.hadoop</groupId> <artifact...

2018-06-21 14:18:09

阅读数:115

评论数:0

【分布式】hadoop安装篇(5)验证和一些命令

在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。验证【在NDFS中创建目录,用于执行MapReduce jobs。】 $ hdfs dfs -mkdir /user //这和linux的命令很是相识,前面加上-(-ls,-cat, -r...

2018-06-21 14:06:05

阅读数:184

评论数:0

【分布式】hadoop安装篇(4)Hadoop 2.x的伪分布模式安装

Hadoop伪分布模式,是在一个单机上模拟Hadoop分布式环境,需要安装的包括: HDFS:包括NameNode和DataNode Yarn:是运行mapReducede容器,包括ResourceManager和NodeManager准备$ sudo apt-get install ssh 【...

2018-06-21 11:39:03

阅读数:84

评论数:0

【分布式】hadoop安装篇(3)安装准备和Standalone安装

下载在 http://hadoop.apache.org/releases.html 中获取相关的版本。安装参考: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/SingleCluster.html h...

2018-06-21 11:07:51

阅读数:84

评论数:0

【分布式】hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下)

web图形方式安装VirtualBoxweb方式利用phpVirtualbox,只支持到5.0版本。也可以强制使用5.2版本,web会提示版本不兼容,能够使用,但不要通过web上的远程连接,而是使用windows自带的远程桌面。1)加上virtualbox的源,前面已经介绍,不再重复2)安装5.0...

2018-06-21 10:44:51

阅读数:134

评论数:0

我的分布式学习博文

【hadoop安装篇】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上) 2018.6.20

2018-06-21 09:10:54

阅读数:133

评论数:0

【分布式】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上)

安装篇说明【环境】Ubuntu server 16.04。我们在接下来的几篇博客将介绍hadoop伪分布式安装(开发环境)以及通过CDH进行的集群安装(生产环境)。这些都在阿土16.04 server的环境。集群安装需要多台机器,作为实验用,我们采用虚机的方式。在windows上或者desktop...

2018-06-20 16:58:02

阅读数:141

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭