之前帮别人做一个小东西,需要爬取网上的内容回填到Excel,由于想短时间内完成,所以选择了 python脚本 + mysql数据库存储数据 + excel设计简易交互界面 的形式。记录如下
1.环境配置 + 基础用法:
1.1.Python(requests + xlwings + pymysql + bs4)写爬虫并作为数据录入端
1.1.1.requests + bs4用来爬取和筛选数据
1.1.2.xlwings用来跟excel进行交互
1.1.3.pymysql用来上传数据到mysql数据库
基础用法
db = pymysql.connect(host = 'localhost',port = 3306 , user = 'root' ,password = '12345678',db = 'your_db_name')
cursor = db.cursor()
sql = "select * from your_table_name"
cursor.execute(sql)
result = cursor.fetchall()
1.2.MySQL + connector/ODBC 存储数据
1.2.1.MySQL community Server 下载地址
下载完后解压,设置环境变量或者在command prompt打开目录:
mysqld --install
mysqld --initialize --console (记住root的密