数据采集实验

白雪落青衣

于 2024-09-28 12:16:39 发布

阅读量425

点赞数 19

文章标签： pip sql linux

本文链接：https://blog.csdn.net/weixin_75042169/article/details/142613904

版权

一.实验目的

（1）熟悉使用Python操作MySQL数据库的方法；

（2）熟练使用HDFS操作常用的Shell命令。

二. 实验平台

（1）操作系统：Windows7及以上；

（2）Hadoop版本：3.1.3；

（3）JDK版本：1.8；

（4）MySQL版本：8.0.23；

（5）Python版本：3.8.7。

三. 实验步骤

1.使用Python操作MySQL数据库

在Windows系统中安装好MySQL8.0.23和Python3.8.7，然后再完成下面题目中的各项操作。

现有以下三个表格：

表1 学生表：Student（主码为Sno）

学号（Sno）	姓名（Sname）	性别（Ssex）	年龄（Sage）	所在系别（Sdept）
10001	Jack	男	21	CS
10002	Rose	女	20	SE
10003	Michael	男	21	IS
10004	Hepburn	女	19	CS
10005	Lisa	女	20	SE

表2 课程表：Course（主码为Cno）

课程号（Cno）	课程名（Cname）	学分（Credit）
00001	DataBase	4
00002	DataStructure	4
00003	Algorithms	3
00004	OperatingSystems	5
00005	ComputerNetwork	4

表3 选课表：SC（主码为Sno，Cno）

学号（Sno）	课程号（Cno）	成绩（Grade）
10002	00003	86
10001	00002	90
10002	00004	70
10003	00001	85
10004	00002	77
10005	00003	88
10001	00005	91
10002	00002	79
10003	00002	83
10004	00003	67

通过编程实现以下题目：

查询学号为10002学生的所有成绩，结果中需包含学号、姓名、所在系别、课程号、课程名以及对应成绩。
查询每位学生成绩大于85的课程，结果中需包含学号、姓名、所在系别、课程号、课程名以及对应成绩。
由于培养计划改，现需将课程号为00001、课程名为DataBase的学分改为5学分。
将学号为10005的学生， OperatingSystems(00004)成绩为73分这一记录写入选课表中。

将学号为10003的学生从这三个表中删除。

2.使用Shell命令操作HDFS

在Windows系统中安装Hadoop3.1.3，然后完成下面题目中的各项操作：

（1）使用自己的用户名登录Windows系统，启动Hadoop，为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”；

（2）接着在HDFS的目录“/user/[用户名]”下，创建test目录；

（3）将Windows系统本地的一个文件上传到HDFS的test目录中，并查看上传后的文件内容；

（4）将HDFS目录test复制到Windows本地文件系统的某个目录下。

四.实验流程

1.实验第一步，就是配好各个版本的包，mysql python pip命令等，这里不解释

2.第二步创建数据库

这里可以用图形化工具navicator 或者sql命令

这里用sql命令

首先启动mysql

Systemctl start mysqld

进入数据库

Mysql -u root

这里需要输入密码，但是我没设

输入准备好的命令

或者查看数据库

Show databases;

创建数据库

Create database stu

准备好数据表

Use stu;

-- 创建学生表

CREATE TABLE IF NOT EXISTS Student (

Sno CHAR(5) NOT NULL,

Sname VARCHAR(100) NOT NULL,

Ssex CHAR(1) NOT NULL,

Sage INT NOT NULL,

Sdept VARCHAR(50) NOT NULL,

PRIMARY KEY (Sno)

);

-- 插入学生数据

INSERT INTO Student (Sno, Sname, Ssex, Sage, Sdept) VALUES

('10001', 'Jack', '男', 21, 'CS'),

('10002', 'Rose', '女', 20, 'SE'),

('10003', 'Michael', '男', 21, 'IS'),

('10004', 'Hepburn', '女', 19, 'CS'),

('10005', 'Lisa', '女', 20, 'SE');

-- 创建课程表

CREATE TABLE IF NOT EXISTS Course (

Cno CHAR(5) NOT NULL,

Cname VARCHAR(100) NOT NULL,

Credit INT NOT NULL,

PRIMARY KEY (Cno)

);

-- 插入课程数据

INSERT INTO Course (Cno, Cname, Credit) VALUES

('00001', 'DataBase', 4),

('00002', 'DataStructure', 4),

('00003', 'Algorithms', 3),

('00004', 'OperatingSystems', 5),

('00005', 'ComputerNetwork', 4);

-- 创建选课表

CREATE TABLE IF NOT EXISTS SC (

Sno CHAR(5) NOT NULL,

Cno CHAR(5) NOT NULL,

Grade INT,

PRIMARY KEY (Sno, Cno),

FOREIGN KEY (Sno) REFERENCES Student(Sno),

FOREIGN KEY (Cno) REFERENCES Course(Cno)

);

-- 插入选课数据

INSERT INTO SC (Sno, Cno, Grade) VALUES

('10002', '00003', 86),

('10001', '00002', 90),

('10002', '00004', 70),

('10003', '00001', 85),

('10004', '00002', 77),

('10005', '00003', 88),

('10001', '00005', 91),

('10002', '00002', 79),

('10003', '00002', 83),

('10004', '00003', 67);

3.进入下一步，使用python编程mysql查询语句，

这里直接上链接

import mysql.connector

# 数据库连接配置
config = {
'user': 'root',
'password': '',
'host': '127.0.0.1',
'database': '这里是你的数据库',
'raise_on_warnings': True
}

cnx = mysql.connector.connect(**config)
cursor = cnx.cursor()

# (1) 查询学号为10002学生的所有成绩
query1 = """
SELECT
s.Sno, s.Sname, s.Sdept, sc.Cno, c.Cname, sc.Grade
FROM
Student s
JOIN
SC sc ON s.Sno = sc.Sno
JOIN
Course c ON sc.Cno = c.Cno
WHERE
s.Sno = '10002'
"""
cursor.execute(query1)
for (sno, sname, sdept, cno, cname, grade) in cursor:
print(sno, sname, sdept, cno, cname, grade)

# (2) 查询每位学生成绩大于85的课程
query2 = """
SELECT
s.Sno, s.Sname, s.Sdept, sc.Cno, c.Cname, sc.Grade
FROM
Student s
JOIN
SC sc ON s.Sno = sc.Sno
JOIN
Course c ON sc.Cno = c.Cno
WHERE
sc.Grade > 85
"""
cursor.execute(query2)
for (sno, sname, sdept, cno, cname, grade) in cursor:
print(sno, sname, sdept, cno, cname, grade)

# (3) 修改课程号为00001的课程的学分为5
query3 = """
UPDATE Course
SET Credit = 5
WHERE Cno = '00001'
"""
cursor.execute(query3)
cnx.commit()

# (4) 插入成绩记录
query4_insert = """
INSERT INTO SC (Sno, Cno, Grade)
VALUES ('10005', '00004', 73)
"""
cursor.execute(query4_insert)
cnx.commit()

# (4) 删除学号为10003的学生相关记录
query4_delete_sc = """
DELETE FROM SC
WHERE Sno = '10003'
"""
cursor.execute(query4_delete_sc)

query4_delete_student = """
DELETE FROM Student
WHERE Sno = '10003'
"""
cursor.execute(query4_delete_student)
cnx.commit()

cursor.close()
cnx.close()