2018年02月_漫步_白桦林

08月 07月 06月 02月 01月

原创 Linux下mysql数据库安装教程

1 . 安装新版mysql前，需将系统自带的mariadb-lib卸载[root@localhost ~]# rpm -qa|grep mariadbmariadb-libs-5.5.52-1.el7.x86_64[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.52-1.el7.x86_642 上传mysql ：mysql

2018-02-06 15:49:28 307

原创 10_hadoop之hive

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 - 本质是将SQL转换为MapReduce程序Hive的特点•可扩展Hive可以自由的扩展集群的规模，一般情况下不需要重启服务•延展性Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数•容错良好的容错性，节点出现问题SQL仍

2018-02-05 13:26:43 216

原创 08_运行hadoop提供的示例程序

通过上篇文章，我们已经搭建好了整个hadoop体系。我们都知道，hadoop由三大组建：（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager（3）MapReduc

2018-02-04 16:32:10 288

原创 07_配置Yarn和MapReduce

Yarn和MapReduce1 对master上的hadoop/etc/hadoop下的hdfs-site.xml做如下配置dfs.replication3dfs.permissionsfalse对所有的master的yarn-site.xml做如下配置yarn.resourcemanager.hostnamemaster

2018-02-03 22:02:07 341

原创 06 _使用命令在hadoop的HDFS中存储文件

存储命令： hadoop fs -put ./hadoop-2.7.5.tar.gz /其中： ./hadoop-2.7.5.tar.gz 要存储的目标源文件/ 文件的存储的目标地址查看文件命令： hadoop fs -ls

2018-02-02 15:21:49 442

原创 05_Hadoop配置免密SSH远程登陆

在linux系统上，可以通过ssh命令实现不同机器间的远程登陆和访问。远程登陆命令：SSH slave1即可登陆slave1，但需要输入密码。登陆成功后，可通过exit退出远程机器。进行ssh免密登陆设置1、通过cd命令返回系统根目录2、在系统跟目录下存在.ssh目录,该目录为隐藏目录，在ls命令中，看不到。3、进入.ssh目录 .ssh的目录结构

2018-02-02 14:53:09 353

原创 04_hadoop集群的集中管理

当我们的集群数量比较多的时候，那么对集群的管理，就变得异常复杂了。因此我们需要采取对整个集群采取集中管理的方式。1 配置master主机进入/usr/local/hadoop/etc/hadoop目录，查看当前目录2 编辑slavesvi slaves将当前所有的slave，编辑之后如下图所示此时就可以通过master操作当前集群中的所有机器。关闭所

2018-02-02 14:16:11 243

原创 03_Hadoop架构

hadoop的集群架构如下图所示：HDFS架构：1 启动所有的hadoop(master,slave)master:hadoop-daemon.sh start namenodeslave:hadoop-daemon.sh start datanode2 在master上查看集群架构：hdfs dfsadmin -report | m

2018-02-02 12:53:16 167

原创 02_Hadoop集群环境的建立

上一篇文章中，已经明确的搭建了Hadoop的四台虚拟环境。在这里我将ssh工具有xshell换成了SecureCRT,使用方式和XShell，操作是一样的。启动所有的虚拟机器。由于是克隆产生的，所以，所有的机器环境都是相同的。启动所有的虚拟机，并启动SecureCRT，建立Session会话。为了便于操作，将四个会话的窗口进行如图的排列为了保证机器间的正常通信，关闭所有的防

2018-02-01 19:05:29 197

原创 01_Hadoop环境搭建

Hadoop环境搭建环境：VMware® Workstation 14 ProCentos7.0Hadoop 2.7.5Xshell6jdk8.0一、搭建Hadoop虚拟主机1 创建虚拟机，命名位master（需要linux基础，和虚拟机使用基础）2 上传jdk 、Hadoop2.7.53 安装jdk4 验证jdk安装是否正确：

2018-02-01 15:20:41 216