chde2Wang-CSDN博客

原创操作系统查看文章链接

x86讲解：80X86寄存器详解 - aitao - 博客园

2021-12-17 21:51:49 454

原创常用网站网址

unix时间戳工具：http://tool.chinaz.com/Tools/unixtime.aspxjs在线编辑工具：https://c.runoob.com/front-end/61代码编辑器：https://leetcode-cn.com/playground/new/emptygithub搜索链接：https://github.com画图工具：https://www.dr...

2019-01-21 12:44:13 1801

原创虚拟机中使用gparted扩展硬盘容量

步骤1：安装gpartedapt-get install gparted步骤2：关闭虚拟机，扩展硬盘容量步骤3：开启虚拟机，找到gparted软件，双击步骤4：扩展，点击原磁盘，点击扩展，点击保存即可

2024-09-06 16:09:23 262

转载当Eclipse无法新建一个JUnit Test Case时，可解决的办法

上安装了JUnit环境，可是新建一个JUnit Test Case文件，发现右键new找不到该类型的文件。则可以点击Other…

2024-09-05 22:26:38 68

原创 eclipse报错this version of the Java Runtime only recognizes class file versions up to xx.0异常

将java compiler版本和java build path版本都设置为此版本。问题原因：java compiler版本和java build path版本不一致。第三步：修改java compiler即可。查看build path。

2024-09-05 08:24:13 159

（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。- 外部表的数据存储在用户指定的位置，Hive仅对表的元数据进行管理，不负责数据的存储管理。- 删除外部表时，数据不会被删除，只会删除表的元数据，数据仍然保留在指定的位置，不会丢失。- 内部表的数据由Hive负责管理，当删除内部表时，数据也会被删除。- 外部表的数据由用户自行管理，当删除外部表时，数据不会被删除。1.Hive 内外部表的定义。

2024-06-17 08:57:30 80

转载解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

通过控制台的异常信息我们可以知道Hive的metadata服务未开启导致的。今天在使用Hadoop集群上的Hive时，结果出现了以下的情况。等到开启了服务之后，再次进入。

2024-06-07 11:17:13 274

原创进入mysql报错：bash：/bin/mysql：没有那个文件或目录

4、删除MySQL的数据目录和配置文件，通常这些文件位于。有可能把/bin下面的mysql文件删除。卸载已安装MySQL，重新安装一遍。

2024-06-03 11:52:22 549

原创 ssh免密报错sign_and_send_pubkey: signing failed: agent refused operation

解决方案：在本地终端执行如下两个命令：ssh-add。

2024-05-31 11:13:27 459

原创 ubuntu中idea创建spark项目步骤

然后再pom.xml的右上角点击Load Maven Change,自动下载各个依赖包文件。注意scala版本和spark版本可以在cmd窗口输入spark-shell进行查看。

2024-05-28 23:54:25 369

原创 hive初始化失败报错：Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)

这里初始化的时候就会创建数据库metastore，第一次初始化就已经生成，如果后面继续初始化还会继续执行这一步，但是执行到这时不能创建名字相同的数据库，就会报错以上错误信息，解决办法就是打开我们的mysql数据库，将这个metastore数据库删除，继续初始化就可以成功了。意思是key name ‘PCS_STATS_IDX’ (state=42000,code=1061)重复了，问题出在不是第一次初始化，因为我们在hive-site.xml中配置了。

2024-05-24 11:32:00 559

转载 Hive 初始化元数据报错： failed to load driver

HiveMetaException是Hive中的一个异常类，它表示Hive元数据存储（即Hive Metastore）发生了一些问题。在本例中，异常的具体原因是无法加载Hive驱动程序。

2024-05-24 11:27:43 574

转载 spark启动container报错虚拟内存不够

异常问题：Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used;

2024-05-24 08:42:36 74

原创在虚拟机安装ubuntu18时出现界面很小

然后按Enter，就可以暂时改变虚拟机的显示分辨率，这样你就可以继续安装Ubuntu了，安装成功后再去修改分辨率就可以了。鼠标右击桌面，点显示设置，就可以进行分辨率的修改了。

2024-05-23 10:39:21 294

原创 Ubuntu18.04下MySQL5.7的安装

（1）进入mysql，在命令行直接输入"mysql"（9）查看mysql状态、开启、停止数据库服务。（6）退出mysql命令行，"exit"（10）安装mysql的图形化管理软件。（5）修改root的plugin和密码。进行命令行安装【root角色】4、设置mysql的密码。（8）正常登录mysql。（11）从软件中心打开即可。（7）重启数据库服务。

2024-05-21 17:37:51 381

原创【无nodemanager】Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass

hadoop集群启动后，slave1没有nodemanager进程。因为 java版本太高，降低版本，重新启动即可。

2024-05-20 18:05:52 219

原创 ubuntu中hadoop完全分布式部署【三台主机】

链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量，并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令，出现java版本。#（1）在三台主机中分别生成密钥，六、配置hadoop完全分布部署。#（2）在三台主机中传输密钥。# 退出连接使用:logout。五、配置zookeeper环境。解决方案：重新安装vim。# 查看是否修改成功。

2024-05-16 15:29:56 844

原创大数据比赛-环境搭建(二)

链接：https://pan.baidu.com/s/1w4Hsa1wbJDfC95fX2vU_1A。链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。大概意思：无法使用1.8的环境（52对应jdk1.8）运行17（61对应的。再启动即可，如果还是报同样的错误，重启ubuntu系统，再试即可完成。在/etc/profile中添加环境变量，并使其生效。

2024-05-15 15:42:44 829

原创大数据比赛-环境搭建(一)

一般刚安装的Ubuntu系统，默认的root密码是随机的，在终端中输入命令 sudo passwd，然后输入密码，即可。链接：https://pan.baidu.com/s/1IvSFzpnQFl3svWyCGRtEmg。链接：https://pan.baidu.com/s/1LRN2RXHf9vb-ufCXkY8UBQ。双击安装MobaXterm，点击New Session，输入IP和用户名user，点击OK。跳转到MobaXterm中，输入user密码，即可登录。5、输入刚才的密码即可。

2024-05-11 15:42:56 678 1

原创 Spark部署错误排除方式

1、查看spark文件夹下conf文件的权限。3、查看hadoop文件夹下配置文件是否正确。2、查看spark文件夹下配置文件是否正确。5、重启hadoop集群。4、重启spark集群。

2024-05-11 11:54:39 288 1

原创 zookeeper启动 FAILED TO START

进入到$ZOOKEEPER_HOME/data下，将除了myid外的其他文件全部删除，停止进程，重新启动即可。如果当前用户下没有该进程号，可能是另一个用户中启动的，进入到另一个用户中查看，并杀死该进程。已经启动过该进程，使用jps查看进程号，使用kill -9 进程号,杀死该进程重新启动。注意：启动zookeeper时，需要使用zkServer.sh start命令。解决方案：将所有主机按myid顺序启动后，再查看状态。错误3：查看状态失败。

2024-05-06 09:13:18 584 1

转载 Linux /dev/sda3 100%解决

第一步：查看整体情况。

2024-05-05 18:37:48 714

转载运行hive时报错权限问题

参考 https://www.cnblogs.com/cynchanpin/p/6915465.html。转载于:https://www.cnblogs.com/zk1023/p/9110903.html。这是/tmp/hive文件夹权限不够，须要提升权限。在运行hive时报错。

2024-04-07 22:13:18 275

原创 mysql_secure_installation初始化数据库报Access denied

登录mysql，设置密码，然后再设置权限。可能输入密码错误，重新复制，粘贴密码。

2024-04-07 16:51:12 472

原创 hive报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.

使用schematool -dbType mysql --initSchema --verbose也无错误。2.检查Hive-site.xml文件是否有错误，尤其是关于metastore相关内容，无误。1.检查MySQL是否启动成功 systemctl status mysqld,没有问题。4.突然反应过来主机名应与jdbc的一致。啊啊啊啊啊啊，要疯了。3.检查root是否有权限访问，无误。hive初始化元数据失败。

2024-04-07 15:00:21 1274

转载 ABRT 已检测到 ‘1‘ 个问题。预了解详细信息请执行：abrt-cli list --since 1641347561

无法删除 '7c0a746f4a92b2ea80dbf5db0043acc72d25516d'：(null)time: 2022年01月05日星期三 17时24分14秒。

2024-04-07 12:34:11 311

原创 Mysql启动失败解决过程

1.查看/etc/my.cnf中日志记录，查看错误。修改错误后，将日志文件，数据文件都清空。

2024-04-06 01:09:03 1105

原创卸载Mysql方法

①通过/etc/my.cnf查看MySQL数据的存储位置。②去往/var/lib/mysql路径需要root权限。需要卸载重装，可参考以下内容。①查看安装过的MySQL相关包。若因为安装失败或者其他原因，（2）卸载MySQL相关包。（注意敲击命令的位置）

2024-04-06 00:18:41 901

原创 hbase启动错误-local host is“master:XXXX“ destination is:master

hdfs高可用安装，yarn高可用安装，且启动成功。zookeeper安装完成，且启动成功。与hbase-site.xml中。将core-site.xml中。保持一致，即可解决。

2024-03-25 22:41:16 490

原创 hdfs-HA错误解决记录

出现错误一般是配置文件出错，如果再三检查没有错误，可以考虑重启让配置文件生效，重启后还是有错误，就还是配置文件有问题。错误2：unable to check if jns are ready for formatting。错误1： a shared edits dir must not be specified。结果是：dfs.ha.namenodes.ns的value值错误，应该是逗号分割。错误分析：与edits文件存储相关的配置文件进行检查，无误。各JournalNode。然后格式化就没问题了。

2024-03-18 14:12:00 277

原创 IDEA中Vue的安装和使用【window10】

1.首先安装npm的阿里镜像，原生npm下载依赖包过慢，镜像可以提高下载效率。3、安装webpack工具（如果以前没有安装webpack，一定要安装！1.在setting中的plugins安装Vue.js插件（本人已经安装）十.下一步就是配置好IDEA的Vue环境了（配置好了，才能编写代码！八.查看IDEA的Static Web里的Vue项目。2.安装Vue的脚手架工具vue-cli。2.配置HTML支持.vue后缀的文件。六.基本工具安装完成后，开始创建项目。九.惊喜的时刻：运行Vue项目。

2024-02-25 12:24:04 795 2

原创大数据-数据可视化-环境部署vue+echarts+显示案例

在node.js中选择需要的版本下载，本人下载v16.60，下载网址https://nodejs.org/download/release/v16.20.2/移动echarts.js与axios.js到guangsha/src/assets下。选择feature，需要则按空格键，不需要再按一次，选择三项，然后按enter。创建chart.vue,并删除原有vue文件。【以下所有操作均在centos上进行】通过鼠标上下键，选择手动，按enter。后面内容皆选择默认，耐心等待几分钟。解决方案：更换镜像源。

2024-02-23 23:41:55 1414 1

原创下载 axios.js 文件到本地【linux】

参考：https://blog.csdn.net/weixin_46055693/article/details/122961451?在$NODE_PATH/node_modules/axios/dist路径下即可找到axios.js。1、百度搜索 GitHub 官网：https://github.com/5、解压，进入到 dist 文件夹**3、点击 axios/axios。2、搜索 axios。

2024-02-23 22:18:53 2925

转载如何下载echarts.js文件【linux】

将要用到的图形√上（建议全部勾选），否则代码可以没有相应的显示图形或功能，下拉都底部。最后选择下载，下载完成后就得到一份echarts.min.js文件了。点击“ 在线定制 ”

2024-02-23 21:10:08 1045

原创 SparkSQL学习03-数据读取与存储

SparkSQL提供了通用的保存数据和数据加载的方式。这里的通用指的是使用相同的API，根据不同的参数读取和保存不用格式的数据。SparkSQL默认读取和保存的文件格式为parquet，parquet是一种能够有效存储嵌套数据的列式存储格式。需要注意：在读取jdbc时需要在format和save之间添加多个option进行相应的JDBC参数设置【url、user、password、tablename】save中不用传递路经空参数即可，可以不用设置mode。SparkSQL提供了两种方式可以保存数据。

2024-02-23 14:03:23 1573 3

原创 SparkSQL学习02-编程入口

在创建Dataset的时候，需要注意数据的格式，必须使用 == caseclass ==，或者基本数据类型，同时需要通过import spark.implicts._来完成数据类型的编码，从而抽取出对应的元数据信息，否则编译无法通过。这两种方式，都是非常常用，但是动态编程更加的灵活，因为javabean的方式的话，提前要确定好数据格式类型，后期无法做改动。【StructField】：是该二维表中某一个字段/列的元数据信息（主要包括列名，类型，是否可以为null）说明：这里学习三个新的类。

2024-02-22 00:35:45 369

原创 SparkSQL学习01

从上面两个表格可以看出，DataFrame比RDD多了一个表头信息（Schema），像一张表了，DataFrame还配套了新的操作数据的方法等，有了DataFrame这个高一层的抽象后，我们处理数据更加简单了，甚至可以用SQL来处理数据了，对开发者来说，易用性有了很大的提升，不仅如此，通过DataFrameAPI或SQL处理数据，会自动经过Spark优化器（Catalyst）的优化，即使你写的程序或SQL不高效，也可以运行的很快。RDD也是一张的二维表，不过没有表头，表名，字段，字段类型等信息。

2024-02-21 22:44:31 1042

转载一种解决spark解析json文件出现_corrupt_record异常的方法

通过分析json文件内容可知，这是由于多余的换行符导致spark的json解析器没有正确解析。网络上有通过添加option("multiLine", true)的方法解决这一问题，但是这个参数和spark版本有关。编写的spark程序读取json文件时，json格式解析异常。解析出来的异常json格式为。

2024-02-21 21:11:30 147

转载 HIVE-分区表详解以及实例

是加上所有files的内容基本上一样，蓝色的^A是系统默认分隔符。八进制是‘\001’.随后参考我的另一个文章。比较详细解释了分隔符。现在只查看dt=2001-01-02目录下country=US的文件夹下的数据。条件限定了country='GB'目录所以只有file1,2,4的内容输出。上面语句的效果是在hdfs系统上建立了一个层级目录。我们到HDFS上查看，发现建立了下面层级目录。创建一个分区表，分区的单位时dt和国家名。我们继续执行下面语句，先看一下什么效果。接下来我们创建要给分区。

2024-02-12 11:49:51 62