- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hadoop群起脚本及(Zookeeper&kafka)
详细脚本如下 群起Hadoop #!/bin/bash echo "=======================正在开启集群服务======================" echo "********************正在开启NameNode(master)节点*******************" ssh hadoop@master '/opt/module/hadoop-2.7....
2019-12-28 11:01:28
181
原创 Hadoop搭建期间的一些注意点(历史服务器、日志聚集)
Hadoop搭建期间的一些注意点 ① 配置历史服务器 配置mapred-site.xml [leedon@hadoop101 hadoop]$ vi mapred-site.xml 启动历史服务器 [leedon@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver 查看JobHistory http...
2019-12-26 17:33:46
200
原创 集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步 如:每隔十分钟，同步一次时间。 配置时间同步具体实操 ： 时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@hadoop102 桌面]# rpm -qa|grep ntp ntp-4.2.6p5-10.el6.centos.x86_64 fontpackages-filesystem-...
2019-12-26 17:23:07
197
原创 编写集群分发脚本xsync
scp（secure copy）安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路...
2019-12-26 14:18:39
338
原创 简单分布式集群配置
配置集群/分布式环境 基本布局如下： 集群/分布式模式需要修改 etc/hadoop 中的5个配置文件，后四个文件可点击查看官方默认设置值，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。 1, 文件 slave master slave1 slave2 2, 文件...
2019-12-26 13:29:00
302
原创 SSH无密登录配置
配置ssh （1）基本语法 ssh另一台电脑的ip地址 （2）ssh连接时出现Host key verification failed的解决方法 [hadoop@master opt] $ ssh 192.168.1.103 The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established. RSA ke...
2019-12-26 12:56:14
179
原创 集群搭建前期的准备工作（配置linux）
1.Linux系统进行配置 ①配置静态IP 执行命令打开配置文件 vim /etc/sysconfig/network-scripts/ifcfg-eno1 添加如下选项，具体指可以参照ifconfig命令的结果数据 IPADDR=192.168.1.99 # 静态ip地址 NETMASK=255.255.255.0 # 子网掩码 NM_CONTROLLE...
2019-12-26 10:28:19
142
原创 Centos镜像下载
Centos镜像下载(一个你值得收藏的镜像站点) 举例 centos6.5： centos6.5系统安装 1、首先打开网易开源镜像站: http://mirrors.163.com/ 当然，大家也可以使用阿里开源镜像站：http://mirrors.aliyun.com/ 2、点击进入centos目录。 3、因为我们选择安装centos6.5版本系统，所以点击进入6.5/目录 4、我们打开里面的...
2019-12-25 10:51:51
108
原创 linux中安装mysql时报错解决方案（file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el）
报错内容如下： rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm 准备中... ################################# [100%] file /usr/share/mysql/charsets/README from install of MySQL-serv...
2019-12-13 14:12:30
6756
14
原创 关于hive配置异常---启动时出现 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClie
关于hive配置异常—启动时出现 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hiv...
2019-12-13 14:01:31
342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人