- 博客(24)
- 收藏
- 关注
RSS订阅原创 Hive笔记-7
本例中会首先启动一个MapReduce job对表e和表d进行连接操作，然后会再启动一个MapReduce job将第一个MapReduce job的输出和表l进行连接操作。如果任一表的指定字段没有符合条件的值的话，那么就使用null值替代。注意：连接n个表，至少需要n-1个连接条件。内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。a,b两表先关联,之后再跟c表关联,关联完再跟d表关联,这就形成了多表连接.返回a表和b表的所有行,如何每列没有所需要的值则返回null。
2024-06-25 15:16:16
387
原创 Hive笔记-6
Group By语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。max()，求最大值，不包含null，除非所有值都是null；min()，求最小值，不包含null，除非所有值都是null；count(某列)，表示该列一共有多少行，不包含null值；count(*)，表示统计所有行数，包含null值；注意: 当你 group by job 的时候,avg()，求平均值，不包含null。因为where是用来过滤一行一行的数据。sum()，求和，不包含null。
2024-06-25 15:10:27
1080
原创 Hive笔记-5
典型的查询会返回多行数据。tail -500 /tmp/用户名/hive.log。(3) 查询除了20部门和30部门以外的员工信息。使用 where 子句, 将不满足条件的行过滤掉。(2) 查询薪水大于1000,或者部门是30。注意：where子句中不能使用字段别名。(1) 查询薪水大于1000,部门是30。1) 基本语法 (and/or/not)（2）SQL 可以写在一行或者多行。（3）关键字不能被缩写也不能分行。/tmp/用户名/hive.log。（5）使用缩进提高语句的可读性。
2024-06-22 13:51:36
509
原创 Hive笔记-4
Export导出语句可将表的数据和元数据信息一并到处的HDFS路径，Import可将Export导出的内容导入Hive，表的数据和元数据信息都会恢复。Export和Import可用于两个Hive实例之间的数据迁移。6.2 基本查询(Select ... From)(2) OVERWRITE: 用结果覆盖原有数据。(1) INTO: 将结果追加到目标表。员工编号 姓名 岗位 薪资 部门。部门编号 部门名称 部门位置id。4.2.1 将查询结果插入表中。(2) 根据查询结果插入数据。
2024-06-22 13:45:19
461
原创 Hive笔记-3
(1) local : 表示从本地加载数据到Hive表;因为在更新列之前他会先检验一下,检验我们更新前后的类型是否一致,我们需要关闭一下他的检验0。(3) partition : 表示上传到指定分区,若目标是分区表,需指定分区。2. 加载HDFS 上的数据, 导入完成后去HDFS上查看文件是否还存在。该语句允许用户修改指定列的列名、数据类型、注释信息以及在表中的位置。(2) overwrite : 表示覆盖表中已有的数据,否则表示追加。(3) 加载数据覆盖表中已有的数据。2. 加载数据覆盖表中已有的数据。
2024-06-17 18:31:16
1194
原创 Hive笔记-1
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive是一个Hadoop客户端，用于将HQL（Hive SQL）转化成MapReduce程序。（1）Hive中每张表的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（也可配置为Spark或者Tez）（3）执行程序运行在Yarn上CLI（command-line interface）、JDBC/ODBC。元数据包括：数据库（默认是default）、表名、表
2024-06-14 21:06:37
1057
原创 Java Swing库学习
Java Swing 是一个用于创建图形用户界面（GUI）的库。它是Java基础类库的一部分，提供了丰富的组件和布局管理器，能够帮助开发者创建功能强大、跨平台的桌面应用程序。
2024-06-13 16:22:18
1028
原创 240506Hadoop3x笔记
这是设置静态IP(修改BOOTPROTO):设置动态IP:(修改BOOTPROTO)一般Hadoop配置为static静态IP。
2024-06-06 16:34:43
258
原创 04-240606Spark笔记
分布式共享只写变量案例:// 累加器 : WordCount// 创建累加器对象// 向Spark进行注册word => {// 数据的累加（使用累加器）// 获取累加器累加的结果sc.stop()/*自定义数据累加器：WordCount1. 继承AccumulatorV2, 定义泛型IN : 累加器输入的数据类型 StringOUT : 累加器返回的数据类型 mutable.Map[String, Long]2. 重写方法（6）*/。
2024-06-06 16:32:40
1201
原创 03-240605-Spark笔记
格式:例子：// TODO - 行动算子//reduceprintln(i)输出结果:10格式:例子：// collect : 方法会将不同分区的数据按照分区顺序采集到Driver端内存中，形成数组输出结果:1,2,3,4。
2024-06-05 17:21:51
1114
原创 02-240602-Spark笔记
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据 处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行 计算的集合。弹性l 存储的弹性：内存与磁盘的自动切换；l 容错的弹性：数据丢失可以自动恢复；l 计算的弹性：计算出错重试机制；l 分片的弹性：可根据需要重新分片。分布式：数据存储在大数据集群不同节点上数据集：RDD 封装了计算逻辑，并不保存数据。
2024-06-05 17:21:18
565
原创 01-240528-Spark笔记
package com.atguigu.bigdata.spark.core.wcimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Spark01_WordCount { def main(args: Array[String]): Unit = { // Application
2024-06-05 17:20:46
953
1
原创 240508Scala笔记
面向对象:类似于盖浇饭,做到饭菜分离,可以通过组合不同的步骤面向过程:类似于炒饭,都是把饭搅匀炒着吃,一气呵成面向对象和面向过程是两种不同的编程范式，它们在处理问题和设计程序时有着明显的区别。关注点面向过程：主要关注解决问题的步骤，即算法的实现。它将问题分解成一系列的函数或过程，并依次调用这些函数或过程来解决问题。面向对象：主要关注问题的本质，即对象及其之间的关系。它将问题分解成一系列的对象，并通过对象之间的交互来解决问题。代码复用性面向过程：代码复用性较低。
2024-06-05 17:19:51
753
原创 240520Scala笔记
// 1. 创建数组// 另一种创建方式// 2. 访问元素// 3. 数组的遍历// 1) 普通for循环// 2) 直接遍历所有元素，增强for循环// 3) 迭代器// 4) 调用foreach方法// 4. 添加元素不可变数组用 +: 或 :+ 追加元素 可变数组用 arr1.append(6) 追加元素// 1. 创建可变数组// 2. 访问元素// 3. 添加元素。
2024-06-05 17:19:18
958
原创 240511Scala笔记
面向对象:类似于盖浇饭,做到饭菜分离,可以通过组合不同的步骤面向过程:类似于炒饭,都是把饭搅匀炒着吃,一气呵成面向对象和面向过程是两种不同的编程范式，它们在处理问题和设计程序时有着明显的区别。关注点面向过程：主要关注解决问题的步骤，即算法的实现。它将问题分解成一系列的函数或过程，并依次调用这些函数或过程来解决问题。面向对象：主要关注问题的本质，即对象及其之间的关系。它将问题分解成一系列的对象，并通过对象之间的交互来解决问题。代码复用性面向过程：代码复用性较低。
2024-06-05 17:18:33
1173
原创 240508Scala笔记
SCala是Java的拓展,在Java的基础上又拓展了一些语法,例如:输出Hello World上面两段代码都可以输出内容./*object: 关键字,声明一个单例对象*//*main 方法: 从外部可以直接调用执行的方法def 方法名称(参数名称:参数类型):返回值类型 = {方法体}*/其中上面的object是一个单例对象.object : 关键字,声明一个单例对象main 方法:从外部可以直接调用执行的方法。
2024-06-05 17:15:47
898
原创 Arkts笔记
ForEach接口基于数组类型数据来进行循环渲染，需要与容器组件配合使用，且接口返回的组件应当是允许包含在ForEach父容器组件中的子组件。例如，ListItem组件要求ForEach的父容器组件必须为。说明从API version 9开始，该接口支持在ArkTS卡片中使用。
2024-03-30 20:14:13
891
2
原创 解决鸿蒙系统软件ERROR: Failed :entry:default@SignHap... ERROR: Failed to find the incremental input file:
因为有调试信息,把build-profile.json5的内容替换成他别的项目里的build-profile.json5内容就行,吐槽:之前搞了好几天没弄好整个人都崩溃了,因为比赛在即,去CSDN搜了一下,又看了一下官方文档,可算是找到了调试信息文件build-profile.json5了。这TM可算是让我找到了,你们是不知道,找这个文件找的整个人都不好了,当我能运行成功可开心死我了,比我TM王者上荣耀还开心。就吐槽到这吧,太难了。有问题可以私信留言,能解决的一定都给解决了。
2024-03-25 21:32:02
2280
3
原创 Mysql笔记 [持续更新中...]
速通Mysql,如果你需要快速学习Mysql或者复习Mysql可以点进来看一看。里面都是一些基础的命令,帮你快速了解或复习Mysql
2024-03-22 18:04:31
233
原创 Linux笔记 [持续更新中...]
实例： $ awk -va=1 '{print $1,$1+a}' log.txt --------------------------------------------- 2 3 3 4 This's 1 10 11 $ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt --------------------------------------------- 2 3 2s 3 4 3s This's 1 This'ss 10 11 10s。
2024-03-18 11:02:34
508
eclipse-SDK-4.30-win32-x86-64.zip
2024-03-24
第二模块：Linux核心命令grep awk sed.docx
2024-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人