山东大学暑期实训（八）

最新推荐文章于 2021-07-30 17:15:15 发布

从-1开始的咸鱼生活

最新推荐文章于 2021-07-30 17:15:15 发布

阅读量189

点赞数

本文链接：https://blog.csdn.net/weixin_43317485/article/details/119244504

版权

本文介绍了针对Twitter、YouTube、B站、微博和知乎等社交平台的数据整合，展示了如何根据前端需求调整数据库表结构，包括tweets、twitter_user、ytb_user、b_up_info和weibo_user等表的设计与调整。

摘要由CSDN通过智能技术生成

今天对负责爬虫的各位同学的sql文件进行了整合：
1、推特部分：
tweets.sql

/*
Navicat MySQL Data Transfer

Source Server         : Tweet
Source Server Version : 80011
Source Host           : localhost:3306
Source Database       : tweet

Target Server Type    : MYSQL
Target Server Version : 80011
File Encoding         : 65001

Date: 2021-07-06 14:23:07
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for tweets
-- ----------------------------
DROP TABLE IF EXISTS `tweets`;
CREATE TABLE `tweets` (
  `tweet_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `user_id` varchar(50) NOT NULL,
  `created_at` varchar(50) DEFAULT NULL,
  `text` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

twitter_user.sql:

/*
Navicat MySQL Data Transfer

Source Server         : Tweet
Source Server Version : 80011
Source Host           : localhost:3306
Source Database       : tweet

Target Server Type    : MYSQL
Target Server Version : 80011
File Encoding         : 65001

Date: 2021-07-06 14:22:56
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for twitter_user
-- ----------------------------
DROP TABLE IF EXISTS `twitter_user`;
CREATE TABLE `twitter_user` (
  `user_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `name` varchar(30) DEFAULT NULL,
  `screen_name` varchar(30) DEFAULT NULL,
  `location` varchar(30) DEFAULT NULL,
  `description` varchar(255) DEFAULT NULL,
  `created_at` varchar(50) DEFAULT NULL,
  `following` varchar(10) DEFAULT NULL,
  `followers` varchar(10) DEFAULT NULL,
  `avatar` varchar(255) DEFAULT NULL,
  `web` varchar(20) DEFAULT NULL,
  `attention` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、油管部分：
ytb_user.sql

/*
Navicat MySQL Data Transfer

Source Server         : X103
Source Server Version : 80015
Source Host           : localhost:3306
Source Database       : youtube

Target Server Type    : MYSQL
Target Server Version : 80015
File Encoding         : 65001

Date: 2021-07-06 15:07:44
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS `ytb_user`;
CREATE TABLE `ytb
_user` (
  `name` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
  `id` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
  `icon` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
  `followers` bigint(11) DEFAULT NULL,
  `channel` varchar(30) DEFAULT NULL,
  `description` varchar(2000) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

ytb_video.sql

/*
Navicat MySQL Data Transfer

Source Server         : X103
Source Server Version : 80015
Source Host           : localhost:3306
Source Database       : youtube

Target Server Type    : MYSQL
Target Server Version : 80015
File Encoding         : 65001

Date: 2021-07-06 15:08:35
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for video
-- ----------------------------
DROP TABLE IF EXISTS `ytb_video`;
CREATE TABLE `ytb_video` (
  `title` varchar(255) NOT NULL,
  `videoid` varchar(30) NOT NULL,
  `id` varchar(30) NOT NULL,
  `publish_time` datetime NOT NULL,
  `view_num` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`videoid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

3、B站
b_up_info.sql

/*
Navicat MySQL Data Transfer

Source Server         : 本地MySql
Source Server Version : 50728
Source Host           : localhost:3306
Source Database       : sddx

Target Server Type    : MYSQL
Target Server Version : 50728
File Encoding         : 65001

Date: 2021-07-06 14:25:33
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for b_up_info
-- ----------------------------
DROP TABLE IF EXISTS `b_up_info`;
CREATE TABLE `b_up_info` (
  `uid` varchar(20) NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  `follower` int(11) DEFAULT NULL,
  `sign` varchar(255) DEFAULT NULL,
  `sex` varchar(2) DEFAULT NULL,
  `level` varchar(2) DEFAULT NULL,
  `birthday` date DEFAULT NULL,
  `title` varchar(255) DEFAULT NULL,
  `video_num` int(11) DEFAULT NULL,
  `video_tag` varchar(255) DEFAULT NULL,
  `video_sort` varchar(255) DEFAULT NULL,
  `video_list` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`uid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

b_video_info.sql

/*
Navicat MySQL Data Transfer

Source Server         : 本地MySql
Source Server Version : 50728
Source Host           : localhost:3306
Source Database       : sddx

Target Server Type    : MYSQL
Target Server Version : 50728
File Encoding         : 65001

Date: 2021-07-06 14:25:48
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for b_video_info
-- ----------------------------
DROP TABLE IF EXISTS `b_video_info`;
CREATE TABLE `b_video_info` (
  `vid` varchar(20) NOT NULL,
  `uid` varchar(20) DEFAULT NULL,
  `title` varchar(255) DEFAULT NULL,
  `date` date DEFAULT NULL,
  `tag` varchar(255) DEFAULT NULL,
  `intro` varchar(255) DEFAULT NULL,
  `view_count` int(11) DEFAULT NULL,
  `like` int(11) DEFAULT NULL,
  `collect` int(11) DEFAULT NULL,
  PRIMARY KEY (`vid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

4、微博
weibo_user.sql

create table weibo_user
(
id varchar(20) NOT NULL,  # 微博用户id
screen_name varchar(30),  # 微博用户昵称
gender varchar(10),  # 微博用户性别
statuses_count INT,  # 微博数量
followers_count INT,  # 微博粉丝数
follow_count INT,  # 微博关注数
registration_time varchar(20),  # 微博用户的注册时间
sunshine varchar(20),  # 微博用户的阳光信用
birthday varchar(40),  # 微博用户生日
location varchar(200),  # 微博用户所在地
education varchar(200),  # 微博用户上学时的学校
company varchar(200),  # 微博用户所属的公司
description varchar(400),  # 微博简介
profile_url varchar(200),  # 微博主页
profile_image_url varchar(200),  # 微博头像url
avatar_hd varchar(200),  # 微博高清头像url
urank INT,  # 微博等级 
mbrank INT,  # 微博会员等级
verified BOOLEAN DEFAULT 0,  # 微博是否认证
verified_type INT,  # 微博认证类型
verified_reason varchar(140),  # 微博认证信息
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

weibo_weibo.sql

create table weibo_weibo
(
id varchar(20) NOT NULL,  # 微博id
bid varchar(12) NOT NULL,  # 微博bid
user_id varchar(20),  # 微博用户id
screen_name varchar(30),  # 微博用户昵称
text varchar(2000),  # 微博正文
article_url varchar(100),  # 微博中头条文章的url
topics varchar(200),  # 微博话题
at_users varchar(1000),  # 微博@的用户
pics varchar(3000),  # 微博的原始图片url
video_url varchar(1000),  # 微博的视频url和微博Live Photo中的视频url
location varchar(100),  # 微博的发布位置
created_at DATETIME,  # 微博的发布时间
source varchar(30),  # 微博的发布工具
attitudes_count INT,  # 微博获得的点赞数
comments_count INT,  # 微博获得的评论数
reposts_count INT,  # 微博获得的转发数
retweet_id varchar(20),  # 转发微博id
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

5、知乎
zhihu_user.sql

/*
Navicat MySQL Data Transfer

Source Server         : win10_local3366_123456_mysqlv5.6
Source Server Version : 50644
Source Host           : localhost:3366
Source Database       : zhihu

Target Server Type    : MYSQL
Target Server Version : 50644
File Encoding         : 65001

Date: 2021-07-06 14:31:47
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for zhihu
-- ----------------------------
DROP TABLE IF EXISTS `zhihu_user`;
CREATE TABLE `zhihu_user` (
  `名字` varchar(100) NOT NULL,
  `子信息` varchar(100) DEFAULT NULL,
  `教育经历` varchar(100) DEFAULT NULL,
  `关注数` varchar(100) DEFAULT NULL,
  `被关注数` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

整合数据库表格：

现在要做的事情是和前端同学进行沟通，了解前端同学的需求，应该怎样设计数据库。

从-1开始的咸鱼生活

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
山东大学暑期实训（八）

今天对负责爬虫的各位同学的sql文件进行了整合：1、推特部分：tweets.sql/*Navicat MySQL Data TransferSource Server : TweetSource Server Version : 80011Source Host : localhost:3306Source Database : tweetTarget Server Type : MYSQLTarget Server Versio
复制链接

扫一扫