场景应用
老大我让爬取内部网站获取数据,插入到新建的表中,并每天进行爬取更新数据(后面做了定时任务)。然后根据该表统计每日的新增数量/更新数量进行制图制表,向上级汇报。
思路构建
选用sqlalchemy+mysqlconnector,连接数据库,创建表,对指定表进行crud
from sqlalchemy import exists, column, integer, string, foreignkey, datetime, text, func
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from conf.parseconfig import parseconf
# 从配置文件中获取数据库信息
host = parseconf.get_conf('mysqlinfo', 'host')
port = parseconf.get_conf('mysqlinfo', 'port')
dbname = parseconf.get_conf('mysqlinfo', 'dbname')
usernm = parseconf.get_conf('mysqlinfo', 'usernm')
passwd = parseconf.get_conf('mysqlinfo', 'passwd')
# 连接数据库
engi