- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 大数据开发学习Day6
基于之前的 access.log，完成一行命令实现：1.筛选出状态码为 200 的行2.提取第 3 列流量数值3.对流量求和管道符 “ | ” 把前一个命令输出作为后一个输入大数据日志排查几乎全是这类组合命令。
2026-04-07 18:02:59
272
原创 大数据开发学习Day5
本文介绍了Linux中sed命令的文本替换和重定向操作，以及SQL中的分组聚合、子查询和排名功能。在sed部分，详细讲解了替换、删除、打印等操作语法，并提供了日志处理、配置文件修改等实战案例。SQL部分重点讲解了分组TopN模板、关联/非关联子查询的区别，以及COUNT(IF())条件计数方法，通过3道LeetCode题目（部门工资前三高员工、选举获胜者、统计专业学生人数）演示了实际应用。这些技巧对于文本处理和数据分析非常实用。
2026-04-04 16:48:27
388
原创 大数据开发学习Day4
本文摘要： Linux/Shell部分介绍了awk文本处理工具的使用方法，包括基本打印、条件过滤、计算统计等常用操作，并提供了日志分析的实践案例。重点讲解了如何提取指定列、求和统计等实用技巧。 SQL部分通过3个典型例题（换座位、部门表重构、电影评分）演示了窗口函数、行转列等高级查询技术，展示了多表连接和分组聚合的应用场景。 Spark部分简要说明了多表连接操作和临时视图创建方法，介绍了DataFrame的基本操作和SQL查询转换。 全文包含大量实用代码示例，涵盖Shell日志处理、SQL复杂查询和Spar
2026-04-03 16:04:43
226
原创 大数据开发学习Day3
本文包含三部分技术内容：1) Linux Shell脚本编写，通过示例展示如何统计.py文件总行数；2) SQL进阶训练，包含第二高薪水、分数排名和连续数字等经典问题的解法，重点介绍窗口函数和LAG/LEAD用法；3) PySpark入门实践，演示如何创建SparkSession、读取CSV数据并执行SQL查询，解释DataFrame概念及其操作方式。全文通过代码示例和注释，系统性地讲解了大数据处理中常用的Shell命令、SQL技巧和Spark基础操作。
2026-04-02 18:02:11
276
原创 大数据开发学习Day2
file将上述代码保存为count_log_lines.sh赋予执行权限：chmod +x count_log_lines.sh运行脚本：./count_log_lines.sh。
2026-04-02 10:14:30
264
原创 大数据开发学习Day1
大数据学习day1常用命令：1、cd：改变当前路径到新的路径cd … #返回上一级cd …/…/ #返回上上级cd /home/user/Documents #切换到指定路径2、ls：查看目录中的文件ls -l #查看文件详情ls -a #查看所有文件包括隐藏文
2026-03-31 16:08:28
640
原创 1236
1.简述Java Error类与Exception类的区别Exception是所有异常类的祖先类，而Error类是所有错误类的祖先类。Error不是程序需要捕获和进行处理的，例如OutOfMemoryError(当Java虚拟机在为对象分配内存空间时，剩余的空间不够，同时也没有可以释放的内容时，将会发生这样的错误)不由程序进行捕获或处理，当Error发生时，程序将会停止。2.简述异常处理的两种方式，并举例说明区别1）声明抛出处理2）程序捕获处理隐式声明抛出public class TestA
2020-10-26 20:18:05
126
原创 1235
1.Java的访问控制修饰符有哪些？各有什么访问权限？Java有四种访问权限， 其中三种有访问权限修饰符，分别为private，public和protected，还有一种不带任何修饰符。private: Java语言中对访问权限限制的最窄的修饰符，一般称之为“私有的”。被其修饰的类、属性以及方法只能被该类的对象访问，其子类不能访问，更不能允许跨包访问。default：即不加任何访问修饰符，通常称为“默认访问模式“。该模式下，只允许在同一个包中进行访问。protect: 介于public 和 priv
2020-10-26 19:30:49
112
原创 第三次作业
2.对象作为参数传递的特点是什么？当基本数据类型作为参数在方法中传递时，传递的是值。而对象的传递是引用传递，即传递的是对象的地址。3.对象初始化顺序是怎样的？实例化一个对象时，先后构造静态成员变量，静态初始化块，成员变量，初始化块，构造方法。4.类的static字段与非static字段的区别是什么？什么情况应该使用static修饰符？当使用static修饰数据成员时，此时不单独属于任何一个类的具体对象，而是属于类的静态数据成员。它被保存于类的内存区的公共存储单元，所以当类的任意一个对象访问它的时候
2020-10-13 13:22:36
124
原创 补写
对象与对象引用的区别是什么？java中对象引用类似于c++中的指针，使用对象引用的时候并没有为其分配新的内存空间，而是将一个对象的地址传给对象指针，使得与相应的对象建立一种关系。当创建一个对象时则为其分配了内存空间。如fp=new FighterPlane();则是创建了一个新的对象。FighterPlane fp;则是声明了一个对象引用。...
2020-10-13 13:02:28
136
1
原创 作业
1.谈谈你过去学习编程语言的方法、经验和教训通过过去对c语言，c++语言的一些学习，让我地体会到了对于编程语言的学习，不仅仅需要多看教学视频，实际操作教学的书籍，更加重要的是需要我们多动手进行编程练习，提高自己的写代码能力。2.JAVA语言都有哪些特点？JAVA语言的特点有平台无关性，java的class文件能够运行于不同的操作系统，如windows，unix，linux等；安全性，对于c语言，他去除了c语言中的指针，更加地安全；面向对象性：类似于c++，面向对象的概论；java语言更加地健壮，可以
2020-10-13 12:58:14
107
原创 作业
Java包括哪些数据类型？基础数据类型整数类型：byte,short,int,long;浮点类型：float,double;字符类型：char;布尔类型：boolean；复合数据类型： class（类）； interface（接口）； 数组；Java基本数据类型转换包括哪两类？①自动类型转换整型、浮点、字符型数据可以混合运算。运算时，不同类型的数据先转化为同一数据类型（从低级到高级），然后再进行运算。Type methodA(byte x,double y){ re
2020-09-27 21:28:26
76
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人