- 博客(12)
- 资源 (25)
- 收藏
- 关注
原创 【分布式】hadoop安装篇(11)CDH安装中的问题:swappiness
现象在运行的过程中,即使我们看到host的内存仍富有余量,但是健康检查亮橙灯,会有Swapping Concerning的提示,例如6 pages were swapped to disk in the previous 15 minute(s). Warning threshold: any.其实在安装过程中的自检中,也看到有关的wa...
2018-06-28 09:40:18 1365
原创 【分布式】hadoop安装篇(10)在Ubuntu中使用CDH安装hadoop集群(下)
安装和配置cluster11)进入集群配置我们将在wei001,wei002和wei003中安装hadoop,hase,spark作为我们后续学习的基础。相应地选择了HDFS,YARN,Zookeeper,oozie,hive,hue,HBASE,Spark。2)配置数据库在mysql中新增数据库 hive, ozzie和hue,分别提供给hive,oozie和hue组件。create datab...
2018-06-21 15:54:53 948
原创 【分布式】hadoop安装篇(9)在Ubuntu中使用CDH安装hadoop集群(中)
安装CDH1)启动server服务在wei001中执行:sudo service cloudera-scm-server start此时我们进入数据库,可以看到scm里面有表格的创建。这个部署需要花费点时间,我们可以跟踪log文件(/var/log/cloudera-scm-server/cloudera-scm-server.log)我们也可以打开浏览器,输入 http://191.8.2.93...
2018-06-21 15:42:30 597
原创 【分布式】hadoop安装篇(8)在Ubuntu中使用CDH安装hadoop集群(上)
安装拓扑我们将采用parcel的安装方式,如果采用手动命令行安装,可以参考 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/ref-e7d8d791-4022-432b-9203-666bbaa1b2cb.1.html安装参考:https://www.clou...
2018-06-21 15:19:51 1077
原创 【分布式】hadoop安装篇(7)Hadoop 3的伪分布模式安装
准备$ sudo apt-get install ssh $ sudo apt-get install pdsh我们还需要设置pdsh的rcmd,执行下面内容。或创建/etc/pdsh/rcmd_default,里面填入sshecho "ssh" > /etc/pdsh/rcmd_default如果这步骤不设置,我们在启动hdfs时,可能会报告gsta@gsta005:~/wei/hadoo...
2018-06-21 14:28:13 3810 1
原创 【分布式】hadoop安装篇(6)Java API的验证
Maven<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.0</version> </dependency>
2018-06-21 14:18:09 376
原创 【分布式】hadoop安装篇(5)验证和一些命令
在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。验证【在NDFS中创建目录,用于执行MapReduce jobs。】 $ hdfs dfs -mkdir /user //这和linux的命令很是相识,前面加上-(-ls,-cat, -rmdir等等),这个目录是建在NDFS的img上的。 $ hdfs dfs -mkdir /user/...
2018-06-21 14:06:05 824
原创 【分布式】hadoop安装篇(4)Hadoop 2.x的伪分布模式安装
Hadoop伪分布模式,是在一个单机上模拟Hadoop分布式环境,需要安装的包括: HDFS:包括NameNode和DataNode Yarn:是运行mapReducede容器,包括ResourceManager和NodeManager准备$ sudo apt-get install ssh 【已经安装了openssh,可以使用ssh,无需再次安装】 $ sudo apt-get install...
2018-06-21 11:39:03 348
原创 【分布式】hadoop安装篇(3)安装准备和Standalone安装
下载在 http://hadoop.apache.org/releases.html 中获取相关的版本。安装参考: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r3.1.0/hadoop-project-...
2018-06-21 11:07:51 597
原创 【分布式】hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下)
web图形方式安装VirtualBoxweb方式利用phpVirtualbox,只支持到5.0版本。也可以强制使用5.2版本,web会提示版本不兼容,能够使用,但不要通过web上的远程连接,而是使用windows自带的远程桌面。1)加上virtualbox的源,前面已经介绍,不再重复2)安装5.0版本$ sudo apt-get install virtualbox-5.0 3)安装扩展包# 查看...
2018-06-21 10:44:51 393
原创 我的分布式学习博文
【hadoop安装篇】 hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上) 2018.6.20 hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下) 2018.6.21 hadoop安装篇(3)安装准备和Standalone安装 2018.6.21 hadoop安装篇(4)Hadoop 2.x的伪分布模式安装...
2018-06-21 09:10:54 400
原创 【分布式】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上)
安装篇说明【环境】Ubuntu server 16.04。我们在接下来的几篇博客将介绍hadoop伪分布式安装(开发环境)以及通过CDH进行的集群安装(生产环境)。这些都在阿土16.04 server的环境。集群安装需要多台机器,作为实验用,我们采用虚机的方式。在windows上或者desktop的linux上都很容易使用virtualbox,有图形操作。而安装虚机的过程,也需要界面的。Ubunt...
2018-06-20 16:58:02 693
Pro Android学习:联系人API
2015-06-15
Pro Android学习:传感器
2015-02-06
[zip文件] Pro Android学习:拖拽小例子
2014-12-12
Pro Android学习:touch screen小例子
2014-11-18
Pro Android学习:list widget小例子
2014-10-23
Pro Android学习:widget小例子
2014-10-15
Pro Android学习:media frameworks小例子
2014-09-30
[zip文件] Pro Android学习:telephony小例子
2014-09-16
Pro Android学习:location小例子
2014-08-27
Pro Android学习:2D动画小例子
2014-08-14
Pro Android学习:Alarm manager小例子
2014-07-18
Pro Android学习:Broadcast小例子
2014-07-01
Pro Android学习:AsyncTask小例子
2014-05-16
Pro Android学习:了解Handler小例子
2014-05-08
Pro Android学习:了解package的小例子
2014-04-18
Pro Android学习:Android service小例子
2014-03-27
NTLM PPROXY client的实现(C source code)
2009-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人