今天对负责爬虫的各位同学的sql文件进行了整合:
1、推特部分:
tweets.sql
/*
Navicat MySQL Data Transfer
Source Server : Tweet
Source Server Version : 80011
Source Host : localhost:3306
Source Database : tweet
Target Server Type : MYSQL
Target Server Version : 80011
File Encoding : 65001
Date: 2021-07-06 14:23:07
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for tweets
-- ----------------------------
DROP TABLE IF EXISTS `tweets`;
CREATE TABLE `tweets` (
`tweet_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
`user_id` varchar(50) NOT NULL,
`created_at` varchar(50) DEFAULT NULL,
`text` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
twitter_user.sql:
/*
Navicat MySQL Data Transfer
Source Server : Tweet
Source Server Version : 80011
Source Host : localhost:3306
Source Database : tweet
Target Server Type : MYSQL
Target Server Version : 80011
File Encoding : 65001
Date: 2021-07-06 14:22:56
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for twitter_user
-- ----------------------------
DROP TABLE IF EXISTS `twitter_user`;
CREATE TABLE `twitter_user` (
`user_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
`name` varchar(30) DEFAULT NULL,
`screen_name` varchar(30) DEFAULT NULL,
`location` varchar(30) DEFAULT NULL,
`description` varchar(255) DEFAULT NULL,
`created_at` varchar(50) DEFAULT NULL,
`following` varchar(10) DEFAULT NULL,
`followers` varchar(10) DEFAULT NULL,
`avatar` varchar(255) DEFAULT NULL,
`web` varchar(20) DEFAULT NULL,
`attention` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
2、油管部分:
ytb_user.sql
/*
Navicat MySQL Data Transfer
Source Server : X103
Source Server Version : 80015
Source Host : localhost:3306
Source Database : youtube
Target Server Type : MYSQL
Target Server Version : 80015
File Encoding : 65001
Date: 2021-07-06 15:07:44
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS `ytb_user`;
CREATE TABLE `ytb
_user` (
`name` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
`id` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
`icon` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL,
`followers` bigint(11) DEFAULT NULL,
`channel` varchar(30) DEFAULT NULL,
`description` varchar(2000) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
ytb_video.sql
/*
Navicat MySQL Data Transfer
Source Server : X103
Source Server Version : 80015
Source Host : localhost:3306
Source Database : youtube
Target Server Type : MYSQL
Target Server Version : 80015
File Encoding : 65001
Date: 2021-07-06 15:08:35
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for video
-- ----------------------------
DROP TABLE IF EXISTS `ytb_video`;
CREATE TABLE `ytb_video` (
`title` varchar(255) NOT NULL,
`videoid` varchar(30) NOT NULL,
`id` varchar(30) NOT NULL,
`publish_time` datetime NOT NULL,
`view_num` bigint(20) DEFAULT NULL,
PRIMARY KEY (`videoid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
3、B站
b_up_info.sql
/*
Navicat MySQL Data Transfer
Source Server : 本地MySql
Source Server Version : 50728
Source Host : localhost:3306
Source Database : sddx
Target Server Type : MYSQL
Target Server Version : 50728
File Encoding : 65001
Date: 2021-07-06 14:25:33
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for b_up_info
-- ----------------------------
DROP TABLE IF EXISTS `b_up_info`;
CREATE TABLE `b_up_info` (
`uid` varchar(20) NOT NULL,
`name` varchar(20) DEFAULT NULL,
`follower` int(11) DEFAULT NULL,
`sign` varchar(255) DEFAULT NULL,
`sex` varchar(2) DEFAULT NULL,
`level` varchar(2) DEFAULT NULL,
`birthday` date DEFAULT NULL,
`title` varchar(255) DEFAULT NULL,
`video_num` int(11) DEFAULT NULL,
`video_tag` varchar(255) DEFAULT NULL,
`video_sort` varchar(255) DEFAULT NULL,
`video_list` varchar(255) DEFAULT NULL,
PRIMARY KEY (`uid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
b_video_info.sql
/*
Navicat MySQL Data Transfer
Source Server : 本地MySql
Source Server Version : 50728
Source Host : localhost:3306
Source Database : sddx
Target Server Type : MYSQL
Target Server Version : 50728
File Encoding : 65001
Date: 2021-07-06 14:25:48
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for b_video_info
-- ----------------------------
DROP TABLE IF EXISTS `b_video_info`;
CREATE TABLE `b_video_info` (
`vid` varchar(20) NOT NULL,
`uid` varchar(20) DEFAULT NULL,
`title` varchar(255) DEFAULT NULL,
`date` date DEFAULT NULL,
`tag` varchar(255) DEFAULT NULL,
`intro` varchar(255) DEFAULT NULL,
`view_count` int(11) DEFAULT NULL,
`like` int(11) DEFAULT NULL,
`collect` int(11) DEFAULT NULL,
PRIMARY KEY (`vid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
4、微博
weibo_user.sql
create table weibo_user
(
id varchar(20) NOT NULL, # 微博用户id
screen_name varchar(30), # 微博用户昵称
gender varchar(10), # 微博用户性别
statuses_count INT, # 微博数量
followers_count INT, # 微博粉丝数
follow_count INT, # 微博关注数
registration_time varchar(20), # 微博用户的注册时间
sunshine varchar(20), # 微博用户的阳光信用
birthday varchar(40), # 微博用户生日
location varchar(200), # 微博用户所在地
education varchar(200), # 微博用户上学时的学校
company varchar(200), # 微博用户所属的公司
description varchar(400), # 微博简介
profile_url varchar(200), # 微博主页
profile_image_url varchar(200), # 微博头像url
avatar_hd varchar(200), # 微博高清头像url
urank INT, # 微博等级
mbrank INT, # 微博会员等级
verified BOOLEAN DEFAULT 0, # 微博是否认证
verified_type INT, # 微博认证类型
verified_reason varchar(140), # 微博认证信息
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
weibo_weibo.sql
create table weibo_weibo
(
id varchar(20) NOT NULL, # 微博id
bid varchar(12) NOT NULL, # 微博bid
user_id varchar(20), # 微博用户id
screen_name varchar(30), # 微博用户昵称
text varchar(2000), # 微博正文
article_url varchar(100), # 微博中头条文章的url
topics varchar(200), # 微博话题
at_users varchar(1000), # 微博@的用户
pics varchar(3000), # 微博的原始图片url
video_url varchar(1000), # 微博的视频url和微博Live Photo中的视频url
location varchar(100), # 微博的发布位置
created_at DATETIME, # 微博的发布时间
source varchar(30), # 微博的发布工具
attitudes_count INT, # 微博获得的点赞数
comments_count INT, # 微博获得的评论数
reposts_count INT, # 微博获得的转发数
retweet_id varchar(20), # 转发微博id
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
5、知乎
zhihu_user.sql
/*
Navicat MySQL Data Transfer
Source Server : win10_local3366_123456_mysqlv5.6
Source Server Version : 50644
Source Host : localhost:3366
Source Database : zhihu
Target Server Type : MYSQL
Target Server Version : 50644
File Encoding : 65001
Date: 2021-07-06 14:31:47
*/
SET FOREIGN_KEY_CHECKS=0;
-- ----------------------------
-- Table structure for zhihu
-- ----------------------------
DROP TABLE IF EXISTS `zhihu_user`;
CREATE TABLE `zhihu_user` (
`名字` varchar(100) NOT NULL,
`子信息` varchar(100) DEFAULT NULL,
`教育经历` varchar(100) DEFAULT NULL,
`关注数` varchar(100) DEFAULT NULL,
`被关注数` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
整合数据库表格:
现在要做的事情是和前端同学进行沟通,了解前端同学的需求,应该怎样设计数据库。