恺风(Wei)之分布式学习笔记
分布式学习笔记
恺风
我思故我在,如果一个人无法独立思考,即使熟习各种工具,实质只是工具的一部分,永远无法创造工具。
展开
-
【杂谈】对代码的一些建议:从单模块到多模块
对于产品,一般来讲,从单模块,到负载均衡的多模块,最后到有服务治理的规模化集群(例如微服务),逐步发展和演进。本文并不打算涉及框架或者架构,也不讲什么大道理,仅从代码编写的角度,看看开发人员需要注意什么。单模块开发的一些注意事项单模块并不是指单体方式,根据功能进行模块划分,每个模块在生产环境中是单模块运行(主备方式)。单模块阶段开发人员仍是有要求,在我的实践中,从code review看,...原创 2019-05-16 17:21:08 · 1762 阅读 · 0 评论 -
我的分布式学习博文
【hadoop安装篇】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上) 2018.6.20 hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下) 2018.6.21 hadoop安装篇(3)安装准备和Standalone安装 2018.6.21 hadoop安装篇(4)Hadoop 2.x的伪分布模式安装...原创 2018-06-21 09:10:54 · 400 阅读 · 0 评论 -
【分布式】hadoop安装篇(11)CDH安装中的问题:swappiness
现象在运行的过程中,即使我们看到host的内存仍富有余量,但是健康检查亮橙灯,会有Swapping Concerning的提示,例如6 pages were swapped to disk in the previous 15 minute(s). Warning threshold: any.其实在安装过程中的自检中,也看到有关的wa...原创 2018-06-28 09:40:18 · 1365 阅读 · 0 评论 -
【分布式】hadoop安装篇(10)在Ubuntu中使用CDH安装hadoop集群(下)
安装和配置cluster11)进入集群配置我们将在wei001,wei002和wei003中安装hadoop,hase,spark作为我们后续学习的基础。相应地选择了HDFS,YARN,Zookeeper,oozie,hive,hue,HBASE,Spark。2)配置数据库在mysql中新增数据库 hive, ozzie和hue,分别提供给hive,oozie和hue组件。create datab...原创 2018-06-21 15:54:53 · 948 阅读 · 0 评论 -
【分布式】hadoop安装篇(9)在Ubuntu中使用CDH安装hadoop集群(中)
安装CDH1)启动server服务在wei001中执行:sudo service cloudera-scm-server start此时我们进入数据库,可以看到scm里面有表格的创建。这个部署需要花费点时间,我们可以跟踪log文件(/var/log/cloudera-scm-server/cloudera-scm-server.log)我们也可以打开浏览器,输入 http://191.8.2.93...原创 2018-06-21 15:42:30 · 597 阅读 · 0 评论 -
【分布式】hadoop安装篇(8)在Ubuntu中使用CDH安装hadoop集群(上)
安装拓扑我们将采用parcel的安装方式,如果采用手动命令行安装,可以参考 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/ref-e7d8d791-4022-432b-9203-666bbaa1b2cb.1.html安装参考:https://www.clou...原创 2018-06-21 15:19:51 · 1077 阅读 · 0 评论 -
【分布式】hadoop安装篇(7)Hadoop 3的伪分布模式安装
准备$ sudo apt-get install ssh$ sudo apt-get install pdsh我们还需要设置pdsh的rcmd,执行下面内容。或创建/etc/pdsh/rcmd_default,里面填入sshecho "ssh" > /etc/pdsh/rcmd_default如果这步骤不设置,我们在启动hdfs时,可能会报告gsta@gsta005:~/wei/hadoo...原创 2018-06-21 14:28:13 · 3810 阅读 · 1 评论 -
【分布式】hadoop安装篇(6)Java API的验证
Maven<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.0</version></dependency>原创 2018-06-21 14:18:09 · 376 阅读 · 0 评论 -
【分布式】hadoop安装篇(5)验证和一些命令
在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。验证【在NDFS中创建目录,用于执行MapReduce jobs。】$ hdfs dfs -mkdir /user //这和linux的命令很是相识,前面加上-(-ls,-cat, -rmdir等等),这个目录是建在NDFS的img上的。$ hdfs dfs -mkdir /user/...原创 2018-06-21 14:06:05 · 824 阅读 · 0 评论 -
【分布式】hadoop安装篇(4)Hadoop 2.x的伪分布模式安装
Hadoop伪分布模式,是在一个单机上模拟Hadoop分布式环境,需要安装的包括: HDFS:包括NameNode和DataNode Yarn:是运行mapReducede容器,包括ResourceManager和NodeManager准备$ sudo apt-get install ssh 【已经安装了openssh,可以使用ssh,无需再次安装】$ sudo apt-get install...原创 2018-06-21 11:39:03 · 348 阅读 · 0 评论 -
【分布式】hadoop安装篇(3)安装准备和Standalone安装
下载在 http://hadoop.apache.org/releases.html 中获取相关的版本。安装参考: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r3.1.0/hadoop-project-...原创 2018-06-21 11:07:51 · 597 阅读 · 0 评论 -
【分布式】hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下)
web图形方式安装VirtualBoxweb方式利用phpVirtualbox,只支持到5.0版本。也可以强制使用5.2版本,web会提示版本不兼容,能够使用,但不要通过web上的远程连接,而是使用windows自带的远程桌面。1)加上virtualbox的源,前面已经介绍,不再重复2)安装5.0版本$ sudo apt-get install virtualbox-5.03)安装扩展包# 查看...原创 2018-06-21 10:44:51 · 393 阅读 · 0 评论 -
【分布式】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上)
安装篇说明【环境】Ubuntu server 16.04。我们在接下来的几篇博客将介绍hadoop伪分布式安装(开发环境)以及通过CDH进行的集群安装(生产环境)。这些都在阿土16.04 server的环境。集群安装需要多台机器,作为实验用,我们采用虚机的方式。在windows上或者desktop的linux上都很容易使用virtualbox,有图形操作。而安装虚机的过程,也需要界面的。Ubunt...原创 2018-06-20 16:58:02 · 693 阅读 · 0 评论