whs0329的博客

原创 sqoop连接mysql数据库报错： java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils

运行sqoop命令时连接mysql数据报错：问题解读 +原因：没有找到类org/apache/commons/lang/StringUtils，也就是说sqoop中没有这个类或者包含这个类的jar包，但是我们去看我们sqoop/lib目录下的jar包时是有commons-lang3-3.4.jar 这个jar包的，查明原因是：sqoop版本大部分是支持2的解决办法：1.下载commons-lang-2.6.jar:Central Repository: commons-lang/comm

原创 关于IDEA出现报错： java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.、

今天在跑wc的时候，代码仔细确认很多遍没有问题，但就是一直报错如下：Exceptioninthread"main"java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset.-seehttps://wiki.apache.org/hadoop/WindowsProblemsatorg.a...

原创 hdfs dfs -Linux 常用命令练习

1.先查看环境：[hadoop@hadoop001 ~]$ jps22673 SecondaryNameNode22502 DataNode22396 NameNode24397 Jps2.命令练习：2.1 查看目录[hadoop@hadoop001 ~]$ hdfs dfs -ls /Found 5 itemsdrwxr-xr-x - hadoop supergroup 0 2021-12-01 23:16 /inputdrwxr-xr-x - had...

原创 Hadoop学习第四课（HDFS常用命令+Mapreduce-架构设计 ）

1.HDFS命令与使用hdfs dfs -Linux，-后面使用的命令和Linux的命令操作是一样的1.1 Hadoop常用命令-----只放常用的[hadoop@hadoop001 ~]$ hadoop Admin Commands: #admin命令 Client Commands: #客户端命令checknative check native Hadoop and compression libraries availab...

原创 Hadoop学习第三课（HDFS架构--读、写流程）

1. 块概念举例1：一桶水 1000ml，瓶子的规格 100ml =>需要10个瓶子装完 一桶水 1010ml，瓶子的规格 100ml =>需要11个瓶子装完 一桶水 1010ml，瓶子的规格 200ml =>需要6个瓶子装完块的大小<==>规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize 官方默认的大小为128M官网：https://hadoop....

原创 Hadoop学习第二课（hadoop3.2.2版本hdfs继续部署+yarn部署）

署之前我们先打开环境查看namenode和secondary namenode都是以hadoop001开启，而datanode不是1.查看IP地址，配置内网IP------为了实现三个进程都是以hadoop001启动Linux中查看IP地址命令：ifconfig如图所示---箭头指向的为当前Linux系统的内网IP而Windows中的命令是：ipconfig切换到root用户配置内网IP红色框框内为内网IP，hadoop001为机器名2.hdfs的三...

原创 Hadoop学习第一课（简单了解Hadoop以及Hadoop3.2.2版本的安装部署）

一.Hadoop（大数据组件）广义：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址)--开源必会存在bug二.组成Hadoop由以下三个部分组成：1.hdfs 存储数据(可以理解为网盘)--hbase2.mapreduce 计算作业(生产上不使用，但设计理念指导着其他框架，比如Spark和Flink)3.yarn 资源(CPU、内存mem...

转载 DBeaver启动报错(Version 1.8.0_ 301 of the JVM is not suitable for this product. Version: 11)和DBeaver安装配置

关于报错" Version 1.8.0_ 301 of the JVM is not suitable for this product. Version: 11 or greater is required."1.dbeaver官网下载community下windows 64 bit(zip),直接下载解压2.解压后打开目录文件找到dbeaver.exe,创建快捷方式3.右键快捷方式，属性，在"目标"路径后面加上-vm-B:\bigdata\JAVA\jdk1.8.0_301\bin\jav.

原创 Hadoop-2.6.2-cdh5.16.2安装部署+Hadoop包以及jdk包下载

1.hadoop下载我下载的是hadoop-2.6.0.-cdh5.16.2.tar.gz如果有想换其他版本的可以去官网下载：https://hadoop.apache.org下面是官网打开初始界面往下拉到底部，选择Release archive,点击进去进去以后各种版本任你挑选，选中你想要下载的版本，点击Release最后再点击Download,下载tar包下载完Hadoop再进行jdk下载（jdk版本参考Hadoop推荐的版本，不然有可能你的j....

转载 MySQL第一个字段是自增长主键，自增长主键的目的是什么，有啥好处，非业务

在数据库表设计中会纠结于”自然键”和”代理键”的选择，自然键在实现数据“软删除”时实现比较复杂，部分自然键因为键值过长或多列组合导致不适合作为表主键，而比较常见两种代理键为自增列(auto incremnet)和全局唯一标识列(GUID)。接下来将和大家聊聊自增键。mysql中是使用数据库提供的自增数值型字段作为自增主键。优点：(1)数据库自动编号，速度快，而且是增量增长，按顺序存放，对于检索非常有利；(2)数字型，占用空间小，易排序，在程序中传递也方便；(3)如果通过非系统增加记录时，

原创 MySQL&SQL练习

1.JDK部署默认路径在哪？部署过程要注意什么？部署完成习惯做什么？2.MySQL根据J哥文档，是否第一次可以完成部署或者花费20min?3.MySQL的配置文件默认第一层路径在哪？假如第一层没有，会去找其他路径吗？4.创建新的数据库ruozedata、用户ruoze、赋予用户对这个数据库所有权限，密码123456.哪三句SQL？5.赋予权限%，代表什么含义？6.生产，穿插：/tmp目录，文件超过30天，会发生什么？7.生产，穿插：软连接，适合哪两种场景？8.你的电脑安装了dbe

原创 Linux常用命令练习

1.查看当前光标所在的目录的命令是什么？pwd生产上，我们要习惯性的去敲pwd,特别是rm删除命令，如果有同名文件或文件夹，你操作错误，可能会导致文件的损失。2.切换到当前用户的家目录，哪三种方式？3.cd - 和cd ~什么区别？4.绝对路径和相对路径，区别是什么？5. ls命令的l、a、h、r、t组合分别代表什么意思？6.按时间排序查看当前目录下的文件和文件夹，命令是什么？7.如何级联和并联创建目录，命令分别是什么？8.移动、拷贝命令是什么，谁速度快9.如何创建一

原创 Hadoop启动后jps查询后没有namedata，datanode进程

我的namedata进程突然之间没有的原因：是因为我之前没有停止hadoopd的集群又重新启动hadoopde集群还有其他原因也会导致比如：1.直接关闭虚拟机，也没有停止hadoop 集群 2.格式化namenode之前，没有删除data里面的数据和日志，导致 namenode和datanode的cl...

原创 hdf部署完成后运行案例（Not a valid JAR: ）

案例运行1.创建目录[hadoop@hadoop01 hadoop]$bin/hdfs dfs -mkdir/user[hadoop@hadoop01 hadoop]$bin/hdfs dfs -mkdir/user/hadoop创建user目录为mapreduce做准备，hadoop目录为你的<username>2.把etc/hadoop中的文件拷贝到input里[hadoop@hadoop01 hadoop]$bin/hdfsdfs -put etc/hadoop .

原创 SQL 的join命令图解

原创 Mysql5.7 Linux7安装(正常安装完，没有临时密码，换以下方法安装出现临时密码)

一.在xshell中安装Mysql需要在官网下载这两个安装包之前跟着https://github.com/Hackeruncle/MySQLhttps://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt