![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
网恋教父258
she just live her life.
展开
-
datanode启不起来,报错:org.apache.hadoop.hdfs.server.datanode.Datanode:Enk pool service for:Block pool ()Da
datanode启不起来,报错:org.apache.hadoop.hdfs.server.datanode.Datanode:Enk pool service for:Block pool ()Datanode Uuid unassigned)…百度了一下错误,这个问题一般是由于两次或两次以上的格式化NameNode造成的……datanode和namenode不再默认路径,而是自己设置过的路径。根据设置的路径,进入datanode的dfs/datanode/data/dir的current目录,修改其原创 2020-08-17 16:47:11 · 284 阅读 · 0 评论 -
Hadoop集群安装配置
hadoop集群安装配置Title: Hadoop集群安装配置Author:liguangmanEmail: 2990244047@qq.com一:基础设置创建用户:useradd lgm -m修改密码:passwd lgm进入创建好的用户:su lgm看此时的路径:修改主机名:Sudo vim /etc/hostname把原机名改为mastere.g:映射:vim /etc/hosts把安装包传进来:1:从别的节点scp2:从 xshell自带的原创 2020-08-15 12:56:07 · 192 阅读 · 0 评论 -
关闭hbase时报错,stopping hbasecat: /tmp/hbase-lgm-master.pid: No such a file。没有那个文件或目录
关闭hbase时报错,stopping hbasecat: /tmp/hbase-lgm-master.pid: No such a file。没有那个文件或目录解决方案:修改hbase-env.sh 配置文件自己设一个pids 目录,再在对应目录创一个pids,改一下权限 chmod 777 pids...原创 2020-08-15 12:19:24 · 2886 阅读 · 0 评论 -
Reported time is too far out of sync with master. Time difference of 57422ms > max allowed of 30000m
在搭建hbase集群时,Hregion server启不起来,查看日志发现以下错误:2020-08-11 17:34:04,137 FATAL [regionserver60020] regionserver.HRegionServer: ABORTING region server bionode1,60020,1508924043337: Unhandled: org.apache.hadoop.hbase.ClockOutOfSyncException: Server bionode1,60020,原创 2020-08-15 12:14:56 · 365 阅读 · 0 评论 -
hive安装配置(单机版)
hive安装配置Title: hive安装配置Author:liguangmanEmail: 2990244047@qq.com(qq邮箱一出现瞬间low到爆)安装元数据服务(mysql)rpm -qa | grep mariadbrpm -e mariadb-libs-5.5.35-3.el7.x86_64 --nodepsrpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm rpm -ivh mysql-community-l原创 2020-08-13 21:22:52 · 333 阅读 · 0 评论 -
hadoop单机版搭建最全教程,不会来问我
hadoop单机版搭建hadoop基础平台单击部署author:lgmEMAIL:2996244047@qq.com(qq邮箱一上来,瞬间low到起飞)修改/etc/hosts[root@westgis167~]# hostnamectl set-hostname hadoop[root@westgis167~]# su -[root@westgis167~]# vim /etc/hosts 10.103.104.167 westgis16710.103.104.168 westg原创 2020-08-11 22:49:32 · 267 阅读 · 0 评论 -
IAAS,PAAS,SAAS是什么
IAAS( Information as a service ) :基础平台服务(只是虚拟机+物理机,无软件)PAAS(platform as a service) :平台机服务(提供了软件但需要写程序 )SAAS(software as a service) :软件机服务 (只需要使用就行)...原创 2019-03-30 17:08:00 · 209 阅读 · 0 评论 -
mapreduce下的wordcount和terasort对比
要求:1,选取wordcount和sort两个程序,每个程序五个输入数据集2,wordcount数据集(20M,100M,500M,1G,2G)3,sort数据集(20M,100M,500M,1G,2G)4,对每个程序分别对比程序执行时间5,选几个重要的性能计数器(6个以上),观察性能计数器的变化6,画图表,总结分析一、操作过程:Wordcount操作(1)使用dd命令产生5个文...原创 2019-07-23 22:13:34 · 471 阅读 · 0 评论