爬虫
文章平均质量分 92
PurePeace
假程序猿(学生
展开
-
Python爬虫取osu!官网上的地区玩家排行,保存数据到json文件及mysql数据库
osu!是一个国际性的音乐游戏,地区排行榜长这样:这是地址 https://osu.ppy.sh/rankings/osu/performance?country=CN因为总共有200页,所以写了个脚本抓数据可以对各个地区的玩家进行分析:有哪些玩家疑似开了小号,谁pp/pc涨很快,等等等等地区不光是我所展示的CN,也可以是US、HK、TW等等爬取数据用到了 BeautifulSou...原创 2020-02-10 02:28:24 · 697 阅读 · 0 评论 -
Python搜索爬取淘宝商品信息并存储为csv文件(名称、店铺、销量、地址等)
功能是搜索某个商品,并把搜到的商品信息一一爬取:爬取商品名称、店铺名称、销量、评论数量、地址等等,然后把信息存储为csv文件…效果:首先是程序运行运行完后可以看到目录下出现了一个csv文件打开看看,还不错现在在淘宝搜索需要登录了,所以要把登录成功后得到的cookie塞进请求headers里才行;我这代码里面的cookie是掏的某位老哥的。。不能保证一直有效,所以最好还是用自己的...原创 2019-09-23 04:40:07 · 9292 阅读 · 15 评论