HR的博客

【代码】【Hbase】ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet。

搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试前置工作配置host文件在每个节点的/etc/hosts文件下加入192.168.3.73 master192.168.3.66 slave1192.168.3.61 slave2确保可以相互ping通[root@host-192-168-3-.

配置ssh免密登录准备工作直接命令行设置复制文件来设置生成密钥交换密钥我们这里会有两种配置ssh免密登录的设置，第一种较为简单，几行代码即可完成；第二行虽然较为复杂但是可以帮助理解ssh的原理，具体使用哪一个来作为配置，可以看自己的选择准备工作实现SSH登录需要openssh和rsync两个服务查看是否安装openssh[root@master ~]# rpm -qa | grep opensshopenssh-7.4p1-11.el7.x86_64openssh-server-7.4p1-

使用rpm安装MySQL下载安装包下载安装包下载地址,选择适合自己的版本下载可以选择整包下载，然后解压即可可以去官网上下载，然后传到Linux，也可以直接使用命令下载wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-1.el7.x86_64.rpm-bundle.tar也可以单个下载...

MapReudce在集群上运行时查询System.out的结果准备工作查看日志文件准备工作我们在使用MapReduce在集群上运行时，常常为了方便而使用System.out，但是却无法显示在控制台上，往往我们就需要去日志里面寻找本次所使用到的数据本次使用的代码package WC;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.i

当hive运行卡主不动时，报错如下hive (default)> select count(*) cnt from emp;Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0Total jobs = 1Launching Job 1 out of 1Number of reduce tasks determined at compile time: 1In order to change the aver

Sqoop的安装与基本使用安装使用测试安装解压文件至指定目录tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/将压缩文件重命名``mv spark-2.2.0-bin-hadoop2.7/ sqoop配置环境变量使用vi /etc/profile命令打开配置文件,添加以下内容export SQOOP_HOME=/home/sqoopexport PATH=$PATH:$SQOOP_HOME/bin使用命令source /.

在搭建hive时，进行最后一步初始化出现了下面的错误Initialization script hive-schema-2.3.0.mysql.sqlError: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000)org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Met

22/01/10 22:50:17 ERROR namenode.NameNode: Failed to start namenode.org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 2 successful responses:192.168.3.73:8485: false192.168.3.61:8485: false1 excep.

Kafka的安装准备工作正式安装Kafka命令行操作准备工作定义：Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。首先我们先去下载Kafka，官网链接: 点击下载下载包的选择Kafka在安装前需要先安装zookeeper并启动，具体步骤 请访问正式安装集群规划节点名称abc安装程序zkzkzk安装程序kafkakafkakafka将压缩包解压到指定文

在启动MySQL的时候遇到一个报错，具体如下这个问题很明显就是mysql.sock导致的，这边提供俩个思路，有不足也请指出思路一：可能是/etc/my.cnf配置文件错误，我们可以去修改配置文件，或许可以解决问题思路二：可能是MySQL用户没有mysql.scok的访问权限，我们可以使用chown或者chmod给MySQL赋权使用chown chown -R mysql:mysql /tmp/mysql.sock使用chmod chmod 777 /tmp/mysql.sock更多

在安装hive进行初始化是出现下列错误Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path解决方案先进入hive主目录下的conf目录，找到hive-env.sh文件，如果没有则使用cp hive-env.sh.template hive-env.sh命令生成一个，然后在文件中添加hadoop的路径...

在搭建Hadoop HA时所遇到的问题，具体报错如下com.jcraft.jsch.JSchException: Auth fail at com.jcraft.jsch.Session.connect(Session.java:452) at org.apache.hadoop.ha.SshFenceByTcpPort.tryFence(SshFenceByTcpPort.java:100) at org.apache.hadoop.ha.NodeFencer.fence(NodeFencer.j

描述由于多次使用bin/hadoop namenode -format命令导致集群无法启动DataNode节点产生原因执行文件系统格式化时（bin/hadoop namenode -format ），会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个文件，记录clusterID，标识了所格式化的namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的文件只是你..

当我们使用wget下载不安全的的东西是会提示下列内容ERROR: cannot verify lug.ustc.edu.cn's certificate, issued by ‘/C=US/O=Let's Encrypt/CN=R3’: Issued certificate has expired.To connect to lug.ustc.edu.cn insecurely, use `--no-check-certificate'.解决方法sudo yum install -y ca-c

CentOS修改各大yum源由于yum下载是连接外网，那么就会造成下载的速度非常的慢，甚至出现几B每秒的情况，为了能更快的使用yum下载我们所需要的软件，我们就要对其进行换源对原配置文件进行备份cd /etc/yum.repos.d 进入源配置文件目录cp CentOS-Base.repo CentOS-Base.repo.0 复制配置文件并将其重命名若没有下载wget，先使用yum install wget命令下载，一路y + 回车即可下载新的配置文件阿里云sudo

Linux操作的一些基本指令标题顶部基础指令关机重启进程指令防火墙切换用户网络配置目录、文件指令目录的切换查看目录文件创建文件、目录删除文件、目录移动或复制文件、目录文件的搜索文件的编辑查看文件修改文件权限压缩、解压指令文件压缩解压缩查找指令grepfindlocatewhereiswhich服务系统服务补充：Hadoop的操作指令Hadoop集群的常用命令HDFS的常用命令标题顶部基础指令关机 shutdown -h now 立刻关机 shutdown -h 5

解决Xshell强制升级今天打开xshell，发现显示，要继续使用此程序，您必须应用最新的更新或使用新版本,必须强制升级，但是升级界面又打不开，就很烦人。虽然我们可以使用修改系统日期的方式解决这个问题，但是修改系统时间的方式总归是不好的，还会导致其他软件的使用出现一些问题下面提供一个通过反编译的方式来解决问题的方法首先我们下载一个叫做c2asm的软件（点击下载）我们在XShell安装目录下找到一个叫nslicense.dll的文件，使用c32asm以十六进制的模式开打搜索类型为十六进制的一串

在运行WordCount的时候一直卡在上述位置，去网上查找结局的方法，说是是因为yarn管理的内存资源不够了，于是去修改yarn-site.xml文件<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value></property><property> <name>yarn.sched.

Spark伪分布式安装配置Scala安装Spark测试配置Scala解压安装包至指定目录:tar -zxvf scala-2.10.4.tgz -C /home/配置环境变量:vi /etc/profileexport SCALA_HOME=/home/scala-2.10.4export PATH=$PATH:$SCALA_HOME/bin是环境变量立刻生效:source /etc/profile测试是否安装成功:scala安装Spark解压安装包至指定目录:tar -zxvf sp

Ubuntu下的hadoop伪分布式安装JDK的安装配置文件的修改启动与测试JDK的安装解压至home目录:tar -zxvf jdk-8u161-linux-x64.tar.gz -C /home/重命名:mv jdk1.8.0_161/ java配置环境变量:vi /etc/profileexport JAVA_HOME=/home/javaexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH使环境变量生效source /etc/pro

Spark安装详解Spark的详情Spark的安装详解Spark Local的安装Spark Standalone模式Spark On YARN模式Spark HA模式Spark的详情Spark的简绍Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。为什么使用SparkSpark在存储器内运行程序的运算速度能做到比Had

Hadoop集群的完整搭建准备工作网络环境的配置修改网关、IP配置映射、主机名重启网络服务，测试ssh的配置jdk的安装Hadoop完全分布式的安装准备工作修改配置文件slaveshadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml分发到其他节点测试安装Zookeeper准备工作修改配置文件分发即修改文件测试准备工作网络环境的配置修改网关、IP打开要修改的文件(最后一个文件名可能每个人的不一样)

Hadoop的高可用模式的搭建Hadoop-HA搭建YARN-HA的搭建Hadoop-HA搭建修改hdfs-site.xml文件#设置文件存储的副本数<property> <name>dfs.replication</name> <value>1</value></property>#设置主机名。设置主节点<property> <name>dfs.nameservices</n

Spark的安装Spark是一种基于内存的、分布式的、大数据处理框架，在 Hadoop 的强势之下，Spark凭借着快速、简洁易用、通用性以及支持多种运行模式四大特征，冲破固有思路成为很多企业标准的大数据分析框架。Spark Standalone模式解压缩tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz修改slaver文件 slaver1 slaver2修改spark-env.sh文件export JAVA_HOME=/usr/jdk1.8.

Hbase的搭建Hbase的伪分布式搭建配置hbase-env.sh文件export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true //使用hbase自带的zookeeper配置hbase-site.xml文件 <property> <name>hbase.cluster.distributed</name> <value>true</va

MySQL密码忘记了怎么办修改my.cnf文件，在文件中加入一行skip-grant-tables开启mysqlmysql -u root -p输入密码时直接回车输入update mysql.user set authentication_string=password('123456') where user ='root';FLUSH PRIVILEGES;exit;将my.cnf注释掉，重启mysql服务...

hive的安装在安装hive之前首先要安装MySQL，我们先安装MySQLMySQL的安装rpm -qa | grep mysql 查询是否安装mysqlrpm -e --nodeps mysql 卸载已安装的whereis mysqlfind -name mysql删除相关文件夹创建mysql用户组和用户并修改权限groupadd mysqluseradd -r -g mysql mysql解压缩tar -zxvf mysql-5.7.31-linux-gl

Zookeeper集群的搭建Zookeeper的简单简绍zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。一、Zookeeper单机安装解压缩tar -zxf zookeeper-3.4.5.tar.gz在主目录下创建data和logs两个目录用于存储数据和日志cd /usr/myapp/zookeeper-3.4.5 mkdir datamkdir logs在conf目录下新建zoo.cfg文件，写入以下内

Hadoop完全分布式的搭建一、搭建前的准备工作安装JDK解压缩jdktar -zxvf jdk-8u161-linux-x64.tar.gz配置环境变量vi /etc/profile更新环境变量source /etc/profileexport JAVA_HOME/usr/java/jdk1.8.161export PATH=$PATH:$JAVA_HOME/bin配置ssh服务ssh-keygen -t rsa回车四次ssh-copy-id master给master添加ss

伪分布式：并不是真正的分布式，是将多台机器的任务放到一台机器上运行一、安装jdk1. 解压安装包tar -zxvf jdk-8u161-linux-x64.tar.gz2. 配置jdk环境变量export JAVA_HOME=/home/java/jdk1.8.0_161export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jarexport PAT

虚拟机NAT模式如何设置网络连接一、首先查看自己的虚拟机服务有没有开启计算机点击右击选择管理进入管理选择VM开头的服务，如果没有开启的话就右键开启二、查看本地网络虚拟机的网卡是否启动点击更改适配器，查看虚拟机的虚拟网卡是否启动设置IP地址，此处设置的IP地址和本机的IP无关，设置成你虚拟机要运行的计算机的网段三、本机设置完成，设置虚拟机打开虚拟机的网络适配器，选择NAT模式和启动时连接进入虚拟机的虚拟网络编辑器选择VMnet0，桥接时注意自己选择的是无线网络还