Python爬虫
文章平均质量分 64
nodoself
这个作者很懒,什么都没留下…
展开
-
Python爬取搜狐车型数据
主要工具Python+selenium+Excel因为工作需要想要获得车型参数数据,查找了网络上面的教程和相关的文章都没有达到我想要的效果,所以自己慢慢摸索着写了这些代码,可能有一些代码繁琐且没有必要,但我毕竟只是懂点皮毛的小菜鸟,如果大家有什么可以优化的方法,欢迎指教~如果你同我一样是需要车型参数数据的,可以按照我的方法来,不过selenium有个缺点就是非常慢,而且有时候会出现抓不到数...原创 2018-08-01 11:50:08 · 1446 阅读 · 3 评论 -
车型数据导入excel
目的: 将Python爬取的车型参数导入到excel中。1.导入TXT文本数据,选择文件原始格式为utf-8,直接点击完成就可以了。当然前提是你的下一步当中除了勾选了Tab,余下的都没有勾选。2.导入的数据要在A1这一列,而且数据之间是没有空行的。3.根据sheet1当中的数据,转到sheet2中。用vba达到自动转置的效果,代码如下:余下的可根据自己的...原创 2018-08-10 15:13:57 · 2002 阅读 · 0 评论 -
Python爬取网易车型库
跟搜狐车库的爬取思路是一样的。首先找到每个车型的连接,然后遍历每个车型的连接去爬取所需的数据。不过网易车型库相较于搜狐车库而言是爬取的时间是远远少于搜狐汽车的。毕竟网易汽车的数据是不用渲染就可以爬取下来的,而搜狐汽车的数据需要渲染之后才可以爬取下来。步骤1:获得品牌的连接import requestsimport reurl = 'http://product.auto.163...原创 2018-08-10 17:17:56 · 995 阅读 · 0 评论 -
猫眼电影-爬取(Python)
此篇文章是根据https://mp.weixin.qq.com/s/rRtb8ATXrVxr3r5uLEhRtA这个文章的步骤进行爬取的。有兴趣的可以直接到该作者的连接查看文章。 介绍一下我的装备: 浏览器:谷歌浏览器 爬取步骤一,到猫眼官网,电影选项,查看每个电影的连接。选择一个电影,右击选择“检查(shift+ctrl+i)”,可以找到该电影的跳转连接。...原创 2018-12-04 10:14:58 · 4226 阅读 · 1 评论 -
汽车之家车型爬取
这是一篇不完整的文章,嗯,因为后期我需要的参数不能完全爬取出来,所以我要先去借鉴一下其他大神的步骤。以下代码都是自己想的,所以想记录一下,以便之后温习和反思。 首先,打开汽车之家的车型库https://car.autohome.com.cn/然后按F12进入开发者模式,找到Ashx的连接,因为还是新手,所有的连接都一个个的点击了,找到了车型品牌的连接。好了,现在可以进行...原创 2019-01-05 12:44:31 · 2482 阅读 · 0 评论 -
猫眼电影-分析及展示(Python+pycharts)
此篇文章承接(猫眼电影-爬取)。 将电影数据储存到MySQL中后,发现评论人数和票房的数据当中存在汉字,后期不好分析,所以需要将汉字转化为数值。 保险起见,我先将films表里面的结构和数据复制了成了一个新表films_copy,然后新增了2列,people和box_price。将数据转化为便于分析的数据,代码如下:import pymysqldef get...原创 2019-02-19 09:36:49 · 3686 阅读 · 0 评论