![](https://i-blog.csdnimg.cn/columns/default/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python摸索笔记
破虏大将军张狗蛋儿
王侯将相宁有种乎(博客第一帅)
展开
-
Python 微信公众号文章爬取 简单记录一下
一,首先看网上各种资料,个人感觉通过微信公众号平台图来采集比较方便(因为自己有微信公众号)二,各种借鉴网上前辈们的经验,这几年微信公众平台没啥大改变,接口啥的都没变。三,爬去方法1.微信公众号登录页面:微信公众平台 登录只需要设置headers(当然需要账号密码) 登录后获取到cookies header = { "HOST": "mp.weixin.qq.com", "User-Agent":"Mozilla/5.0 (Win...原创 2021-11-04 14:40:42 · 692 阅读 · 0 评论 -
Python操作MySQL之SQLAlchemy的坑 老版本vs新版本
老版本的useexisting已被废弃, 新版本使用extend_existing老class CommentReply(db.Model): __tablename__ = "wx_comment_reply" __table_args__ = { "extend_existing": True, 'mysql_charset': 'utf8mb4'}新class CommentReply(db.Model): __tablename__ =...原创 2021-08-24 10:22:29 · 946 阅读 · 1 评论 -
实验楼:楼+数据分析与挖掘 挑战四【采集实验楼用户基础数据】
挑战内容本次挑战中,你需要在~/Code/shiyanlou_user.py文件中编写一个函数user_info,user_info函数接受1个参数user_id。其中,user_id用于指定用户 ID。你需要补充user_info函数,使之能解析并返回指定用户 ID 的数据信息。如果指定用户 ID 不存在,则全部返回None。挑战要求代码必须写入~/Code/shiyanlou_user.py文件中。 函数名必须是user_info,如果指定用户 ID 不存在...原创 2020-10-26 17:06:04 · 736 阅读 · 6 评论 -
实验楼:楼+数据分析与挖掘 挑战三【使用 GitHub API 采集数据】
挑战内容GitHub 上的每一个仓库默认都会有 Issues 页面,Issues 相当于仓库的问题追踪系统,开发者的功能需要,用户找到的 BUG 都可以提交为 Issues。例如,著名数据分析库 Pandas 其托管在 GitHub 上的地址为:仓库地址:https://github.com/pandas-dev/pandas Issues 地址:https://github.com/pandas-dev/pandas/issues Issues API 地址:https://api.githu原创 2020-10-16 11:00:33 · 1032 阅读 · 2 评论 -
实验楼:楼+数据分析与挖掘 挑战二【SQLite 数据库连接和查询】
挑战内容本次挑战中,你需要在~/Code/sql_challenge.py文件中编写一个函数count,count函数接受2个参数file和user_id。其中,file用于连接指定名称的数据库文件,user_id为用户 ID。你需要补充count函数,使之能查询指定用户 ID学过课程的累计学习分钟数,并作为函数返回值。如果指定用户 ID 不存在,则返回0。挑战要求代码必须写入~/Code/sql_challenge.py文件中。 函数名必须是co...原创 2020-10-14 14:18:00 · 442 阅读 · 1 评论 -
实验楼:楼+数据分析与挖掘 挑战一【数据文件格式转换与存储】
挑战内容本次挑战中,你需要在~/Code/read_challenge.py文件中编写一个函数convert,convert函数接受1个参数file用于指定传入的数据文件。你需要补充convert函数,使其可以读取 JSON 文件的前1000行数据,并将这1000行数据储存为 HDF5 数据文件user_study.h5。挑战要求代码必须写入~/Code/read_challenge.py文件中。 函数名必须是convert,HDF5 数据文件key...原创 2020-10-13 14:56:28 · 697 阅读 · 2 评论