TRHX'S BLOG

CSDN 2020 博客之星实时数据排名：csdn.itrhx.comCSDN 一年一度的博客之星评选开始了，官网地址：https://bss.csdn.net/m/topic/blog_star2020 ，由于官网是按照随机编号排序的，没有按照票数多少排序，为了方便查看排名，可以使用 Python 爬虫 + PyEcharts 来实现实时数据排名。打开 Google Chrome 的审查工具，可以找到一个 getUsers 的请求，请求地址为：https://bss.csdn.net/m/topic

爬取时间：2020-07-11实现目标：根据用户输入的关键字爬取相关职位信息存入 MongoDB，读取数据进行可视化展示。涉及知识：请求库 requests、Xpath 语法、数据库 MongoDB、数据处理 Numpy、Pandas、数据可视化 Matplotlib。完整代码：https://github.com/TRHX/Python3-Spider-Practice/tree/master/51job其他爬虫实战代码合集（持续更新）：https://github.com/TRHX/Pytho.

文章目录【1x00】前言【2x00】思维导图【3x00】数据结构分析【4x00】主函数 main()【5x00】数据获取模块 data_get【5x01】初始化函数 init()【5x02】中国总数据 china_total_data()【5x03】全球总数据 global_total_data()【5x04】中国每日数据 china_daily_data()【5x05】境外每日数据 foreign_daily_data()【6x00】词云图绘制模块 data_wordcloud【6x01】中国累计确诊词.

爬取时间：2019-11-14爬取难度：★★☆☆☆☆请求链接：https://www.guazi.com/www/buy/爬取目标：爬取瓜子全国二手车信息，包括价格、上牌时间、表显里程等；保存车辆图片涉及知识：请求库 requests、解析库 lxml、Xpath 语法、数据库 MongoDB 的操作完整代码：https://github.com/TRHX/Python3-Spide...

爬取时间：2019-10-21爬取难度：★★★☆☆☆请求链接：https://wh.58.com/chuzu/爬取目标：58同城武汉出租房的所有信息涉及知识：网站加密字体的攻克、请求库 requests、解析库 Beautiful Soup、数据库 MySQL 的操作完整代码：https://github.com/TRHX/Python3-Spider-Practice/tree/m...

登陆时间：2019-10-21实现难度：★★★☆☆☆请求链接：https://kyfw.12306.cn/otn/resources/login.html实现目标：模拟登陆中国铁路12306，攻克点触验证码涉及知识：点触验证码的攻克、自动化测试工具 Selenium 的使用、对接在线打码平台完整代码：https://github.com/TRHX/Python3-Spider-Pra...

登陆时间：2019-10-19实现难度：★★★☆☆☆请求链接：https://passport.bilibili.com/login实现目标：模拟登陆哔哩哔哩，破解滑动验证码涉及知识：滑动验证码的破解、自动化测试工具 Selenium 的使用完整代码：https://github.com/TRHX/Python3-Spider-Practice/tree/master/bilibil...

爬取时间：2019-09-23爬取难度：★☆☆☆☆请求链接：https://maoyan.com/board/4爬取目标：猫眼电影 TOP100 的电影名称、电影封面图、主演、上映时间、评分涉及知识：请求库 requests、解析库 lxml、Xpath 语法...

爬取时间：2019-09-27爬取难度：★★☆☆☆☆请求链接：豆瓣电影 Top 250 以及每部电影详情页爬取目标：爬取榜单上每一部电影详情页的数据，保存为 CSV 文件；下载所有电影海报到本地涉及知识：请求库 requests、解析库 lxml、Xpath 语法、正则表达式、CSV 和二进制数据储存、列表操作

爬取时间：2019-10-09爬取难度：★★☆☆☆☆请求链接：https://wuhan.anjuke.com/sale/爬取目标：爬取武汉二手房每一条售房信息，包含地理位置、价格、面积等，保存为 CSV 文件涉及知识：请求库 requests、解析库 Beautiful Soup、CSV 文件储存、列表操作、分页判断完整代码：https://github.com/TRHX/Pytho...

爬取时间：2019-10-12爬取难度：★★☆☆☆☆请求链接：https://bbs.hupu.com/bxj爬取目标：爬取虎扑论坛步行街的帖子，包含主题，作者，发布时间等，数据保存到 MongoDB 数据库涉及知识：请求库 requests、解析库 Beautiful Soup、数据库 MongoDB 的操作完整代码：https://github.com/TRHX/Python3-...