- 博客(14)
- 收藏
- 关注
RSS订阅原创 在Hadoop3使用sqoop1.4.7
由于sqoop现在已经停止更新了, 版本只维持在1.4.7且支持的hadoop版本也停留在2.6.0, 所以需要下载两个版本,一个是集成好的sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz, 另一个是纯净版sqoop-1.4.7.tar.gz. 具体的安装可以参考。: 指定将数据导入到HDFS中的目标路径。: 指定在数据中表示空值的字符串。: 指定将数据导入到HDFS中的目标路径。: 指定将数据导入到Hive中的表名称。: 指定将数据导入到Hive中的表名称。
2023-07-12 15:19:30
481
1
原创 执行yum update导致Java OpenJDK更新
执行yum update, 然后发现我的hadoop集群+hive+spark都运行不了任务, 查看日志发现提醒我然后前往/usr/lib/jvm/目录下面, 发现jdk被更新成java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64版本了
2023-06-19 11:22:20
627
原创 使用sparksql将hive数据导出至mysql
选项改变表格的结构信息，表结构只会受到用户主动修改的影响。注意，在重新创建表格时，如果定义的数据类型和MySQL中的数据类型不匹配，例如，Spark中的String类型对应MySQL中的Text类型，Spark会自动将类型转换为MySQL支持的类型。选项之后，Spark会将MySQL表格的所有数据删掉并重新创建，但是表格的结构（包括字段名称和数据类型）会保持不变。需要注意的是，最终的表格结构和数据类型可能会受到写入操作的驱动器连接字符串和数据源的限制，因此还是需要根据实际情况进行数据类型转换和清洗处理。
2023-06-08 17:32:40
568
原创 Mysql用户创建以及权限赋予操作
其中，privileges表示授权给用户的权限，object表示将权限授予的对象(比如database_name.*)，user表示被授权的用户，IDENTIFIED BY 'password’表示设置用户密码(这一步可以省略)。该查询语句返回三个列：user表示用户名，host表示用户所在的主机，authentication_string表示该用户的加密密码或者密码哈希值。其中，new_user是新用户的名称，localhost是该用户的登录主机，user_password是该用户的密码。
2023-06-08 09:49:55
15903
原创 使用Spring Boot开发SparkSQL读取Hive
这是Spring Boot开发SparkSQL读取Hive数据库，并可使用Web接口查询Hive数据的基本步骤。4. 创建一个`@Controller`类，并注入`PersonRepository`类，并添加一个Web接口API，用于呈现查询结果。下面是使用Spring Boot开发SparkSQL读取Hive数据库的代码，并且可以使用Web接口来读取Hive数据的示例。在这里，我们使用`SparkSQL`查询Hive表中的数据。
2023-06-06 16:12:29
1022
原创 使用dbeaver链接oracle报错ORA-12505, TNS:listener does not currently know of SID given in connect descripto
使用dbeaver连接oracle
2023-05-15 09:56:49
1729
1
原创 离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1
本文主要讲述的是Hadoop3.3.1-hive3.1.2-spark 3.3.1 以及其他组件的搭建与遇到的问题
2023-05-06 11:19:21
1134
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人