项目:对github的repo进行树形分类

该项目涉及从GitHub使用Selenium爬取repo信息,包括url、name、language、description和fork等,然后存储到关系型数据库中。数据以(username, name, url, language, description, fork)的形式存储。接着,通过MongoDB创建一个树形结构,每个节点包含repo的names。项目实现了AJAX交互的3个界面:repos列表、归类后的混合视图和文件夹编辑界面,允许用户对文件夹进行分类和编辑。" 105977147,9369021,Windows10上安装Minikube搭建Kubernetes环境,"['Kubernetes', 'Docker', 'Windows开发', '虚拟化技术', 'minikube']
摘要由CSDN通过智能技术生成

需求

  1. 数据获取
    使用selenium从github爬取repo信息,为5元组(url,name,lauguage,description,fork)
  2. 数据存储
    存放在关系型数据库github_repo_db中,对于用户username,存放在表username中,name为主属性,表结构为(url,name,lauguage,description,fork)
  3. 树形归类
    用mongodb维护一个树形结构,其中repos为列表类型,存放repo的names
  4. 界面与CRUD
    用ajax与服务器交互,获取服务器的树形信息显示出来,并且可以对文件夹进行交互。要求有3个界面:
    4.1. repos列表界面,对repos进行文件夹归类(可以放入多个文件夹)。
    4.2. 文件夹与repos混合界面,为归类后的效果。
    4.3. 文件夹编辑界面,对文件夹树形结构进行编辑。

编码

数据获取

使用selenium从github爬取repo信息,为5元组(url,name,lauguage,description,fork)
https://blog.csdn.net/TQCAI666/article/details/89226236

数据存储

存放在关系型数据库github_repo_db中,对于用户username,存放在表username中,name为主属性,表结构为(url,name,lauguage,description,fork)

Create Database If Not Exists github_repo_db;

以用户TQCAI为例

Create Table If Not Exists github_repo_db.`TQCAI`(
  url varchar(100),
  name varchar(50) PRIMARY KEY ,
  lauguage varchar(20),
  description TEXT,
  fork varchar(50)
);

repo_mysql.py

# -*- coding: utf-8 -*-

import pymysql
import random as rd
from random import choice



class MySqlOP(object):
    HOST='localhost'
    USER='root'
    PASSWORD='密码'
    def __init__(self,username):
        # 打开数据库连接
      
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值