mindbrainforce-CSDN博客

原创 HIVE启动前注意事项

1、确保 RDBMS元数据（MySQL）启动好了 service mysqld start2、确保 HDFS 启动好了。能正常运行hadoop安装目录/sbin/start-all.sh

2021-03-15 13:13:57 1004

根据此文章方法升级https://www.cnblogs.com/xiaowenshu/p/10239834.html 将centos6中python2.6升级为2.7安装setuptools时，提示未安装zlib。python命令下import zlib也提示无zlib。在python安装包解压后的Python2.7.9文件加下，重新编译./configure --with-zlib--prefix=/usr/local/python27/（据Stack Overflowhttps:/..

2021-01-11 14:30:04 289

原创 hiveserver2服务部署

1、修改hadoop 集群所有节点的hdfs-site.xml文件，加入配置信息，启用webhdfs<property><name>dfs.webhdfs.enabled</name><value>true</value></property>2、修改hadoop集群所有节点的core-site.xml文件加入配置信息，表示设置hadoop集群的代理用户<property><name>hado

2021-01-10 16:14:11 450

原创 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient在hive的配置文件hive-site.xml添加如下配置：<prope...

2021-01-09 17:57:37 494

原创 All mirror URLs are not using ftp, http[s] or file.

使用yumAll mirror URLs are not using ftp, http[s] or file.sed -i “s|enabled=1|enabled=0|g” /etc/yum/pluginconf.d/fastestmirror.confmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo https

2020-12-31 19:18:40 264

原创虚拟机设置记录

~/.bashrc (主用户目录下的配置文件）export JAVA_HOME=/usr/local/src/jdk1.8.0_271export JRE_HOME=/usr/local/src/jdk1.8.0_271/jreexport CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/rt.jarexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/binexport PATH=$PATH:${JA..

2020-12-24 12:27:15 126

原创虚拟机无法进入图形化界面

原因：没有装显卡驱动解决方法：切换到文本界面[Ctrl]+[Alt]+[F7]运行sudo init 5显示用户无权限sudo解决办法：1.切换到超级用户：su2.vim /etc/sudoers3.找到“root ALL=(ALL) ALL”一行，在下面插入新的一行，内容是“用户名 ALL=(ALL) ALL”，vim “:wq!”保存并退出。sudo init 5[Ctrl]+[Alt]+[F1]~[F6]切换终端界面即可...

2020-12-24 11:47:05 6397

原创 bash: ls: command not found

原因：在设置环境变量时，编辑profile文件没有写正确，导致在命令行下 ls等命令不能够识别。解决方案：export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin或在命令行执行export PATH=/bin:/usr/bin:$PATH...

2020-12-22 14:17:21 141

原创 Vmware提示以独占方式锁定此配置文件失败。另一个正在运行的VMware进程可能正在使用配置文件

Vmware提示以独占方式锁定此配置文件失败。另一个正在运行的VMware进程可能正在使用配置文件，虚拟机无法开机。删除虚拟机安装目录内的临时文件(三个以.lck结尾的文件夹)，重启电脑即可。

2020-12-21 13:41:26 208

原创 namenode未启动，显示 ssh: connect to host port 22: No route to host

ssh: connect to host port 22: No route to host (1)ifconfig -a查看物理MAC HWADDR的值 (2)/etc/sysconfig/network-script/ifcfg-eth0中修改ifconfig中查出的MAC HWADDR值；（3）/etc/udev/rules.d/中70-persistent-net.rules 修改ifconfig中查出的MAC HWADDR值仍然有问题ifconf...

2020-12-21 12:50:29 1495

原创启动hadoop没有启动datanode。jps无datanode，localhost:50070中livenodes为0

http://dblab.xmu.edu.cn/blog/818-2/

2020-12-21 12:48:50 611

原创 Error: Cannot find configuration directory: /etc/hadoop

解决方法：在hadoop-env.sh 配置一条hadoop配置文件所在目录export HADOOP_CONF_DIR=/usr/hadoop-2.6.1/etc/hadoop/ 执行命令source hadoop-env.sh

2020-12-12 14:40:00 627

原创 COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s

COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

2020-12-10 18:02:41 1013

原创虚拟机如何共享目录

虚拟机名称标签点右键，设置，共享文件夹，添加，选择路径。如果添加成功，cd /mnt/hgfs/里面有共享文件夹名称cd /sharefoldersu一下cp * /usr/local/src 拷贝所有运行 ./ 共享文件夹里的程序则此程序安装目录为/usr/local/src/程序名称...

2020-12-08 20:37:07 425

原创 Unable to load native-hadoop library for your platform

http://dl.bintray.com/sequenceiq/sequenceiq-bin/中下载对应版本native复制到 /usr/local/src/hadoop-2.6.1/lib/native解压文件 tar xvzf 即可

2020-12-08 20:31:03 121

原创 hadoop安装完成后出现 bash: hadoop: command not found

vim /etc/profile添加以下内容export HADOOP_HOME=/usr/local/src/hadoop-2.6.1export PATH=PATH:PATH:PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profilevim ~/.bashrc添加export HADOOP_HOME=/usr/local/src/hadoop-2.6.1export PATH=PATH:PATH:PATH:HADOOP_HOME/b

2020-12-08 20:19:43 1020 1

weixin_43214096的博客