文章目录
需求
- 数据获取
使用selenium从github爬取repo信息,为5元组(url,name,lauguage,description,fork) - 数据存储
存放在关系型数据库github_repo_db中,对于用户username,存放在表username中,name为主属性,表结构为(url,name,lauguage,description,fork) - 树形归类
用mongodb维护一个树形结构,其中repos为列表类型,存放repo的names - 界面与CRUD
用ajax与服务器交互,获取服务器的树形信息显示出来,并且可以对文件夹进行交互。要求有3个界面:
4.1. repos列表界面,对repos进行文件夹归类(可以放入多个文件夹)。
4.2. 文件夹与repos混合界面,为归类后的效果。
4.3. 文件夹编辑界面,对文件夹树形结构进行编辑。
编码
数据获取
使用selenium从github爬取repo信息,为5元组(url,name,lauguage,description,fork)
https://blog.csdn.net/TQCAI666/article/details/89226236
数据存储
存放在关系型数据库github_repo_db中,对于用户username,存放在表username中,name为主属性,表结构为(url,name,lauguage,description,fork)
Create Database If Not Exists github_repo_db;
以用户TQCAI
为例
Create Table If Not Exists github_repo_db.`TQCAI`(
url varchar(100),
name varchar(50) PRIMARY KEY ,
lauguage varchar(20),
description TEXT,
fork varchar(50)
);
repo_mysql.py
# -*- coding: utf-8 -*-
import pymysql
import random as rd
from random import choice
class MySqlOP(object):
HOST='localhost'
USER='root'
PASSWORD='密码'
def __init__(self,username):
# 打开数据库连接