hadoop
无为二里
无谓而生
展开
-
docker中部署hadoop集群案例
Docker 是一个开源的应用容器引擎,让开发者可以快速打包应用以及依赖到一个可移植的容器中,然后发布到任何流行的Linux机器上,使用docker去安装hadoop集群,可以快速的线性扩展机器,可以快速的实现部署。本文使用docker快速的搭建伪分布式的Hadoop集群用于代码的开发和测试,生产环境的部署需要使用更多的工具或者其它技术实现快速的部署和docker的管理。第一步:docker的...原创 2019-11-02 17:01:46 · 854 阅读 · 0 评论 -
ssh 远程执行zookeeper启动脚本不能正常运行(java.io.EOFException)
编写zookeeper远程执行脚本过程中出现,zookeeper进程不能正常启动的问题:进入配置文件conf目录下,查看zookeeper.out文件,内容如下所示:问题:通过分析异常代码可以看出是java异常的问题,没有找到java的路径解决方案:在配置文件中加入java的路径打开文件 vi /etc/profile# java_home# javaexport JAVA_HOME...原创 2019-10-30 17:08:20 · 4019 阅读 · 0 评论 -
zookeeper的分布式安装以及启动脚本
第一步:zookeeper安装包的下载链接地址,可以根据自己的需要下载相对应的版本,https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/第二步:安装包的解压# 解压安装包到当前的目录tar -zxvf zookeeper-3.4.9.tar.gz# 或者解压安装包到指定的目录tar -zxvf zookeeper-3.4.9.ta...原创 2019-10-28 09:43:27 · 474 阅读 · 1 评论 -
多台机器的时钟同步
时钟同步的方式有两种:第一种同步方式通过网络进行时钟同步,第二种方式通过某台机器进行同步。本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤:本文是以centos6.5作为服务器搭建的三台机器Hadoop伪分布式的平台,解决三台机器之间的时间同步的问题,主机master的IP为192.168.141.130,从机slave01的IP为192.168.141.140,从机slave0...原创 2019-09-23 10:48:12 · 2583 阅读 · 0 评论 -
启动hbase出现Java HotSpot(TM) 64-Bit Server VM warning
分布式hbase启动异常提醒分布式hbase启动过程出现Java HotSpot(TM) 64-Bit Server VM warning提醒异常,主要是因为使用的JAVA JDK版本问题,JDK8+以上的版本不需要如下图所示的红框内的两行代码,即注释每台机器hbase中conf目录下的hbase-env.sh配置文件中的代码,重新启动habse就ok。注释hbase-env.sh配置文件...原创 2019-09-24 10:54:51 · 10868 阅读 · 0 评论 -
spark集群安装出现master: failed to launch: nice -n 0错误
spark集群启动之后出现如图所在红线的异常情况解决方案:在配置文件中加入java jdk的安装路径重新启动spark集群即可。# 在配置文件中加入java jdk的安装路径vim ~/.bashrcexport JAVA_HOME=/export/servers/jdk1.8.0_221master主机的进程都正常启动从机slave01,slave02的进程也都...原创 2019-09-26 17:28:50 · 1825 阅读 · 0 评论 -
pyspark 启动env: /usr/local/python3/bin: Permission denied
使用本机安装的python3的路径,启动出现的错误如图所示问题是:设置的安装路径的问题修改spark-env.sh配置文件中PYSPARK_PYTHON的路径即可,将路径修改为红线所示的路径,修改结果如图所示:...原创 2019-09-27 17:30:37 · 5776 阅读 · 0 评论 -
hive启动出现java.net.URISyntaxException
hive启动时出现java.net.URISyntaxException异常,异常代码:Logging initialized using configuration in file:/export/servers/hive-2.3.6/conf/hive-log4j2.properties Async: trueException in thread "main" java.lang...原创 2019-09-29 10:06:39 · 517 阅读 · 0 评论