W2484980893的博客

原创 大数据技术与应用开发赛项笔记

各种启动命令修改mysql数据库编码：alter database shtd_result CHARACTER SET utf8;hadoop : start-all.shhive服务： hive --service metastorehive 客户端 ：hivedolphinscheduler服务：./bin/dolphinscheduler-daemon.sh start standalone-server浏览器访问地址 http://localhost:12345/dolphinsc

原创 spark 写入 mysql 报错

报错信息如下："C:\Program Files\Java\jdk1.8.0_291\bin\java.exe" "-javaagent:D:\Hadoopruanjian\IDEA\IntelliJ IDEA 2021.3.2\lib\idea_rt.jar=60971:D:\Hadoopruanjian\IDEA\IntelliJ IDEA 2021.3.2\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_2

原创 spark 写入 hudi时数据类型报错

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file hdfs://master:9000/user/hive/warehouse/ods_ds_hudi.db/order_info/19971201/77687054-08d3-4045-9529-1ca38e7de10b-0_0-65-57_20231203155747192.parquet

原创 spark写入数据报错

Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot overwrite table dwd.dim_user_info that is also being read from at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:720) at org.apache.spark.sql.DataFram

原创 spark3.x 读取hudi报错

添加这行配置。

原创 spark3.x 写入hudi报错

【代码】spark3.x 写入hudi报错。

原创 MySQL练习题

22 给平均工资最低的部门员工的工资每人降薪200块 (分组查询 虚拟表)18 给有领导的员工且工资低于4000的工资 然涨薪300块的信息。19 给没有领导员工中工资最低的2个人工资涨50%16. 给2号部门工资最低的员工涨500工资。13. 查询工资高于1号部门平均工资的员工信息。15. 查询工资高于2号部门最低工资的员工信息。20 查询4号部门中超过本部门平均工资的员工信息。12. 用指令查询 第3页的 2条员工信息。14. 查询最高工资的员工信息。

原创 Exception in thread “main“ java.sql.SQLException: No suitable driver

详细报错信息如下：

原创 Hadoop不主动退出安全模式

hdfs dfsadmin -safemode leave 主动关闭安全模式。hdfs dfsadmin -safemode get 查看安全模式的状态。hdfs fsck / 查看损坏的数据块。hdfs fsck / -delete 删除损坏的数据块。

原创 Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot overwrite table dwd.dim_us

***记录我的报错***

原创 SFailed with exception java.io.IOException:org.apache.parquet.io.ParquetDecodingException: Can not

原创 Scala（自学-6）

Scala（自学-6）

原创 Scala（自学-5）

Scala自学第五篇笔记

原创 scala(自学-4）

scala(自学-4）

原创 Scala（自学-3）

自学Scala----3

原创 Scala（自学-2）

自学Scala第二天

原创 Scala（自学-1）

Scala入门

原创 Hadoop从入门到入土（第二十一天）

每天进步一点点

原创 Hadoop从入门到入土（第二十天）

HDFS学习笔记总结

原创 Hadoop从入门到入土（第十九天）

学习使人进步，每一天都要元气满满

原创 Hadoop从入门到入土（第十八天）

HDFS-API 判断是文件夹是文件 @Test public void testFile() throws IOException { FileStatus[] listStatus = fs.listStatus(new Path("/")); for (FileStatus status : listStatus) { if (status.isFile()) { System.out.pri.

原创 Hadoop从入门到入土（第十七天）

目录HDFS-API的下载HDFS-API的删除HDFS-API的更名参数的移动和更名HDFS-API获取文件的详情HDFS-API的下载在HdfsClient.java中添加 //文件的下载 @Test public void testGet() throws IOException { //参数的解读，参数1，源文件是否删除；参数二，源文件的路径；参数三，目标地址的路径；参数四 fs.copyToLocalFile(f.

原创 Hadoop从入门到入土（第十三天）

目录HDFS数据组织HDFS的API操作客服端环境准备HDFS数据组织HDFS数据组织包括HDFS的数据块存储、流水线复制、文件的删除和恢复等机制保障了HDFS高效和可靠地存储数据。数据块存储：HDFS被设计成支持大文件，适用HDFS的是那些需要处理大规模的数据的应用。这些应用都是只写入数据一次，但读取一次或者多次，并且读取速度应能满足流式读的需要。HDFS支持文件”一次写入、多次读出“语义。一个典型的数据块大小是128MB.因而，HDFS中的文件总是按照128MB被切分成不同的

原创 Hadoop从入门到入土（第十六天）

Hadoop-API上传在自己d盘下创建一个文件夹，再在文件夹下面建一个txt文件，复制该路径 在HdfsClient.java中添加如下代码： /* 上传 */ @Test public void testPut() throws IOException { //参数解读：参数1：表示是否删除原数据；参数2：是否允许覆盖；参数3：原数据路径；参数4：目的地路径 fs.copyFromLocalFile(false, fal

原创 Hadoop从入门到入土（第十五天）

一、hadoop_hdfs_maven安装复制maven文件夹的路径》来到桌面选择此电脑右键》属性》高级》环境变量》新建》变量名：MAVEN_HOME变量值：粘贴maven文件夹路劲确定》双击path在里面添加》%MAVEN_HOME%/bin依次点击确定》来到maven/conf文件夹下双击settingzai将里面的文件替换掉》<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://m

原创 Hadoop从入门到入土（第十四天）

IDEA的基本快捷键一、基本上下文操作：ctrl+1:显示上下文操作，提供警告式错误的修正建议。 搜索操作：ctrl+shift+a 搜索所有可进行的操作 ，也可以连续按两次shift来调用随处搜索。通过使用随出搜索，你可以同时查找项目代码实体和其他IDE对象。可以搜索行号，取消行号和开启行号，使用crtl+shift+t可缩小查找范围，如果需要找到它在库中的实现。我们将项目文件筛选器切换到所有位置。使用crtl+shift+空格 预览可用文档。 基本补全： ctrl+空格 激活基本补全.

原创 Hadoop从入门到入土（第十二天）

目录常用命令实操：准备工作：上传：下载：HDFS直接操作：常用命令实操：准备工作：sbin/start-dfs.sh sbin/start-yarn.sh(启动集群) 输出这个命令参数：hadoop fs -help rm hadoop fs -mkdir /nancheng上传：-moveFromlocal:从本地剪切粘贴到HDFS：vim shuguo.txt输入：suguo>hadoop fs -moveFromLocal ./shuguo.t..

原创 hadoop从入门到入土（第十一天）

目录复习：安装centos7：配置centos 7：设置IP配置centos 7：修改主机名复习：安装centos7：在计算机硬盘上找一个剩余的空间在50gb以上发的磁盘，建立一个空文件夹，并重命名，如：F:CentOS 7 的虚拟机文件存放目录。然后打开VMware Workstation Pro。 单击“文件”菜单>新建虚拟机，选择“自定义(高级）”，单击“下一步”按钮。 保持默认设置，继续单击“按钮” 选择“安装程序光盘映像文件（iso）”，单击浏览按钮，找到

原创 Hadoop从入门到入土（第十天）

HDFS健壮性HDFS的主要目标就是即使在出错的情况下也要保证数据存储的可能性。常见的三种出错情况是Namenode出错、Datanode出错和网络割裂，HDFS提供了多种错误恢复手段，保证了系统的健壮性。磁盘数据错误，心跳检测和重新复制：每个Datanode节点周期性地向Namenode发送心跳信号。网络割裂可能导致一部分Datanode与Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况，并将这些近期不在发送心跳信号的Datanode标记为死机，不会再将新的IO发给它们。

原创 Hadoop从入门到入土（第九天）

目录HDFS文件块大小HDFS的shell操作HDFS文件块大小HDFS中的文件在物理上是分块存储，块的大小可以通过配置参数来规定，默认大小在Hadoop版本是128m。如果寻址时间为10ms，即查找到目标block的时间为10ms寻址时间为传输时间的1%时，则为最佳状态。因此，传输时间=10ms/0.01=1000ms=1s而目前磁盘的传输速率普遍为100mb/sHDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；HDFS的设置太大，从磁盘传输数据的时间会明

原创 hadoop从入门到入土（第八天）

HDFS介绍

原创 Hadoop入门到入土（第七天）

hadoop入门（跟着配你也行！！！）（">"代表下一步）

原创 Hadoop从入门到入土（第六天）

每天进步一点点

原创 Hadoop从入门到入土（第五天）

一、集群部署规划namenode和ScondaryNameNode不要装在同一服务器ResourceManager也消耗内存，不要和NameNode.SecondaryName Node配置在同一台机器上。cd /opt/module/hadoop文件名>ll >cd etc/hadoop/>复制>.l>vim core-site.xml>按o（右键粘贴）>ll>复制>vim hdfs-site.xml>按o粘贴>ll>

原创 Hadoop从入门到入土（第四天）

目录一、完全分布式运行模式（开发重点）1）分析2）编写集群分发脚本xsync二、ssh无密登陆配置 1.配置ssh 2.无密钥设置一、完全分布式运行模式（开发重点）1）分析1.准备3台客户机（关闭防火墙、静态IP、主机名称）2.安装JDK3.配置环境变量4.安装Hadoop5.配置集群6.单点启动7.配...

原创 Hadoop从入门到入土（第三天）

（今天学习的时候把hadoop的环境变量配置错了，然后所有命令就运行不了，被迫重开）目录一、安装hadoop二、本地运行模式一、安装hadoop 打开Xshell7连接hadoop102>cd /opt/software>ll>tar -zxvf hadoop文件名 -C /opt/module/>cd ..>cd madule>cd hadoop-3.1.3(自己hadoop的文件名）\ll>pwd(复制下面的连接...

原创 Hadoop从入门到入土（第二天）

目录一、今日学习所遇到的命令二、模板虚拟机准备三、虚拟机克隆一、今日所遇到的命令：sucdpwdpingyum install -y epel-releasesystemctl disable fivewall.servicechrl lvim | etc | sudoers(visdo)//看不见下面的需要用crtl+下键...

原创 Hadoop从入门到入土（第一天）

目录：一、hadoop概念：1.hadoop是什么2.hadoop发展历史3.hadoop三大发行版本4.hadoop的优势5.hadoop的组成6.HDFS、TARN、MapReduce架构概述学习内容：1.hadoop是什么： 1）hadoop是一个由apache基金会所开发的分布式系统基础架构。 ...