- 博客(6)
- 收藏
- 关注
RSS订阅原创 用Python分析元旦旅游景点，告诉你哪些地方性价比较高
元旦马上就要到了，难得的3天小长假，玩肯定是要去玩的，但去哪儿玩是个问题。于是，J哥以厦门为例，利用Python获取了去哪儿网的相关景点数据，包括景点名称、地区、评分、销量、价格、地理分布等字段，可视化这些数据并作简单分析，以求找到性价比较高的景点。数据获取去哪儿网数据采集相对简单，找到真实url后，构造参数拼接，用request请求到json数据，以追加模式将数据存储为csv文件即可。爬虫核心代码如下：# -*- coding = uft-8 -*-# @Time : 2020/12/25 9
2020-12-29 22:01:16
1456
1
原创 Python分析《奔跑吧》21307 条热评，看看大家都在吐槽些什么
前言《奔跑吧》第五季已经播出两期了，节目以“黄河生态经济带”沿线地区为依托，通过创新游戏设置、直播带货扶贫等新形式，展现黄河流域的重要地位，描绘黄河生态经济带城市“文化之美”。然而，网友貌似并不买账，邓超、郑凯等退出跑男后，收视明显不如以前，而吐槽貌似有所增加。为了了解吃瓜群众们对于跑男的看法，我爬了爬腾讯视频关于跑男的评论，并做了简单文本可视化分析。数据获取腾讯视频评论要点击查看更多评论才能加载更多数据，很明显是一个动态网页，评论内容使用了Ajax动态加载技术。因此，我们需要找到真实URL，然后再
2020-12-29 14:17:50
597
1
原创 实战|手把手教你利用Python网络爬虫获取新房数据
项目背景大家好，我是J哥。新房数据，对于房地产置业者来说是买房的重要参考依据，而对于房地产开发商来说，也是分析竞争对手地产项目的绝佳途径。今天J哥以惠民之家为例，手把手教你利用Python将网站上的新房数据批量抓取下来，可以抓取到楼盘名称、销售价格、主力户型、开盘时间、容积率、绿化率等41个字段。项目目标惠民之家首页网址：http://www.fz0752.com/新房网址：http://www.fz0752.com/project/list.shtml总结1.本文基于Pytho
2020-12-23 14:18:53
1247
4
原创 用Python分析北京蛋壳公寓租房数据
数据获取蛋壳公寓网页结构相对简单，数据结构统一，简单的url翻页构造即可。本文用request请求到数据，用xpath对返回的数据进行解析，最后以追加模式将数据存储为csv文件。爬虫核心代码如下：def get_danke(href): time.sleep(random.uniform(0, 1)) #设置延时，避免对服务器产生压力 response = requests.get(url=href, headers=headers) if response.status_co
2020-12-23 11:19:23
762
原创 天冷了，我用Python爬取京东4950件羽绒服数据并可视化
前言大家好，我是J哥。前不久，我还穿着短袖羡慕着北方的下雪气氛。结果就在上周，深圳也迎来了降温，并成功加入“降温群聊”！为了抵御严寒，我特地爬了下京东的羽绒服数据，以备不时之需。为啥不时天猫呢，理由很简单，滑块验证有点麻烦。本文数据集可在微信公众号「菜J学Python」后台输入「羽绒服」免费获取。数据获取京东网站是一个ajax动态加载的网站，只能通过解析接口或用selenium自动化测试工具去爬取。关于动态网页爬虫，本公众号历史原创文章介绍过，感兴趣的朋友可以去了解一下。本次数据获取采用sel
2020-12-03 19:13:17
1249
原创 用Python分析《令人心动的offer2》的13万条弹幕，网友们都在吐槽什么？
前言大家好，我是J哥。综艺，是我们劳累了一天的放松方式，也是我们饭后的谈资。看着自己喜欢的综艺，时光足够美。而《令人心动的offer 》，就是一个不错的综艺选择。有人说它让自己更自卑了，而我觉得挺有意思。《令人心动的offer 》目前为止已经播出了两季，第一季在豆瓣为8.3分，共有5万余人评分，第二季目前评分低于第一季，评分仅7.1分。本文通过爬取《令人心动的offer》第二季13万+弹幕，进行可视化分析和情感分析，完整代码后台回复「offer」即可免费获取。数据获取《令人心动的offer》
2020-12-01 20:30:28
734
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人