- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python 定时清理日志（schedule）
本来是打算用Linux的crontab去操作的，但是在使用crontab -e的时候发现里面有任务在执行，且不知道来源何处。于是就用python的while True去执行，如果不需要使用就用kill杀死。schedule需要安装 pip3 install schedule即可。在工作中我发现日志累积太多，翻阅不方便，遂写一个清理日志的定时。不使用start去定时，该文件可单独执行。我的文件命名啥的可能不太规范。
2024-08-06 16:28:52
314
原创 python django初步搭建（一）
在setting里面添加app这一步放在创建简单API那里应该会更好一点models.py# 创建一个水果模型，里面包括名字、颜色、产地、价格等属性id = models.AutoField(primary_key=True) # 主键name = models.CharField(max_length=50) # 名字为字符类型，最大长度为50个字符color = models.CharField(max_length=50) # 颜色。
2024-06-13 10:55:32
770
原创 Python 连接 MySQL 及 SQL增删改查（主要使用sqlalchemy）
本次文档记录python和mysql数据库相关操作（sqlalchemy）。环境：windows10、python 3.11.7。mysql版本：5.7。
2024-06-06 17:53:46
1017
原创 Python avif转png处理过程记录
使用 libavif 将 AVIF 格式的图像转换成 PIL 能够处理的图片。参考代码：avifdec input.avif -o output.png。
2024-06-03 13:49:19
457
原创 第11章综合案例2影评大数据分析
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-30 09:29:17
2809
4
原创 第10章综合案例1广电大数据分析
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-30 09:22:34
2891
3
原创 实验8HiveUDF
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-30 09:18:13
735
原创 实验7HiveJDBC连接
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-30 09:10:50
2336
1
原创 实验6Hive分组排序
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-30 09:07:25
1139
原创 实验5Hive查询
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-29 17:23:30
1036
原创 实验4Hive分区表和桶表
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-29 17:17:16
1441
原创 实验3Hive数据操作
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-29 17:12:56
1418
1
原创 实验2Hive数据定义
记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2
2022-11-29 17:06:29
759
原创 实验1Hive安装部署
--记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.28
2022-11-29 16:50:43
1182
原创 实验SparkSQL编程初级实践
实验SparkSQL编程初级实践-Spark SQL 基本操作-将RDD转换为DataFrame-利用DataFrame读写MySQL的数据
2022-05-02 16:52:10
7551
7
原创 实验7 Spark初级编程实践
1.实验目的（1）掌握使用Spark访问本地文件和HDFS文件的方法（2）掌握Spark应用程序的编写、编译和运行方法2.实验平台（1）操作系统：Ubuntu18.04（或Ubuntu16.04）；（2）Spark版本：2.4.0；（3）Hadoop版本：3.1.3。3.实验步骤（1）Spark读取文件系统的数据1.在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；2.在s..
2021-12-22 19:28:47
11496
2
原创 实验5MapReduce初级编程实践
1.实验目的（1）通过实验掌握基本的MapReduce编程方法；（2）掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。2.实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）（2）Hadoop版本：3.1.33.实验步骤（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和..
2021-12-05 14:23:18
15166
13
原创 实验4 NoSQL和关系数据库的操作比较
实验4NoSQL和关系数据库的操作比较1.实验目的（1）理解四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及不同点；（2）熟练使用四种数据库操作常用的Shell命令；（3）熟悉四种数据库操作常用的Java API。2.实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3；（3）MySQL版本：5.6；（4）HBase版本：2.2.2；（5）Redis版本：5.0.5；.
2021-11-21 17:17:59
17166
2
原创 实验3 熟悉常用的HBase操作
一、实验目的理解HBase在Hadoop体系结构中的角色； 熟练使用HBase操作常用的shell命令； 熟悉HBase操作常用的Java API；二、实验平台操作系统：Linux； Hadoop版本：3.1.3； HBase版本：2.2.2； JDK版本：1.8； Java IDE：Eclipse。三、实验步骤（一）编程实现以下指定功能，并利用Hadoop提供的HBase Shell命令完成相同任务；列出HBase所有的表的相关新信息，例如表名； public sta.
2021-10-26 13:46:59
10483
原创 实验2的两道Java编程《大数据技术原理与应用》第3版
1.编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。import java.io.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;impo
2021-10-18 20:36:21
3260
2
jedis mongo mysql.zip
2021-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人