![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
万物皆乱
心若乱,万物皆乱。
展开
-
python爬取五月天MV歌名
音乐网址:https://y.qq.com/n/yqq/singer/000Sp0Bz4JXH0o.html#tab=mv&通过开发工具找到MV歌名存放位置:打开上图中url,显示数据为当前页MV歌名:总共有848个MV,当前页只能查到12个MV歌名,仔细看了下存放网址:https://c.y.qq.com/mv/fcgi-bin/fcg_singer_mv.fcg?g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin原创 2020-10-27 15:54:43 · 394 阅读 · 1 评论 -
python爬虫:定位目标数据位置(四)
今天来讲下请求方式为:POST的URL如何读取其数据。(演示网址:http://www.dongfeng-honda.com/dot_query.shtml)如图,我们要获取当前位置为广州的专营店信息,通过开发工具我们找到了数据存放的URL,但是这个URL的请求方式为:POST(我们之前处理的请求方式是GET),此时要设置data参数才能正确读取该URL数据。data参数的查找如下:代码如下:import requestsimport jsondata = { "d原创 2020-09-14 11:06:37 · 969 阅读 · 0 评论 -
python爬虫实例:今日头条街拍大图下载
今天的目标是下载头条首页搜索街拍,下载各个标题下的大图,如下:今天有点懒,仅分享下代码,自行学习消化:import requestsimport osfrom hashlib import md5for i in range(3): offset=i*20 url='https://www.toutiao.com/api/search/content/?aid=24&app_name=web_search&offset=%d&format=json&a原创 2020-09-02 11:42:26 · 300 阅读 · 0 评论 -
python爬虫:定位目标数据位置(三)
这次讲简单点,直接上图片就可以清楚明白:(演示网址:https://www.buick.com.cn/dealer.html)如上图,打开网址,我们要获取该网址的专营店所有信息,我们按F12打开开发者工具,重新加载页面,查找路径如图:Network>XHR>dealer.json,我们单击dealer.json,这是在右边会出现一个网址,我们打开这个网址就是我们所有的专营店信息了:爬取脚本就不展示了,自己动手吧。感悟:倦了累了,休息下再重新出发。...原创 2020-08-27 10:52:18 · 702 阅读 · 0 评论 -
python爬虫:导出带E数据为科学计数的解决方法
今天在爬取数据的时候,导出其中一个数据是418E2,导出为csv文件,打开一看显示为:4.18E+04,下面我针对这个写了一段代码演示:import csvdatas={'code':'418E2'}data=datas['code']with open('data.csv','a+',encoding='gb18030',newline='') as f: writer = csv.writer(f) writer.writerow([data])执行代码后,原创 2020-08-20 10:20:56 · 2220 阅读 · 2 评论 -
python爬虫:定位目标数据位置(二)
今天介绍下定位目标数据位置(二),这个方法很简单,只需要在F12开发页面通过搜索目标数据,就可以知道数据在网页中的存储位置,演示网址:https://www.gac-toyota.com.cn/buy/shopping/dealer-search;演示如下,需要获取专营店的信息,在search框输入一家店的店名:广汽丰田第一店,查询后显示结果中有个dealerData.js的地址:https://www.gac-toyota.com.cn/js/newprovincecitydealer/data/dea原创 2020-08-13 13:43:40 · 1169 阅读 · 0 评论 -
python爬虫:根据经纬度判定省城信息
我们在爬数据的很多时候,获得的数据只有经纬度,没有对应的省份、城市信息,这时我们可以根据如下脚本进行获取:import requestsimport csv,timetimenow =time.strftime("%Y-%m-%d-%H%M%S", time.localtime())file = '省城信息-%s.csv'% (timenow)#写入表头with open(file,'a+',encoding='gb18030', newline='') as f: writer_f原创 2020-07-28 10:45:11 · 2363 阅读 · 1 评论 -
python爬虫:定位目标数据位置(一)
python爬虫中,定位目标数据位置是很关键的一步,今天就来讲其中的一种方法,也是最基础的一种方法。首先怎么看一个网页的源代码,例如打开知乎首页(网址:https://www.zhihu.com/explore),在网页任意空白处单击右键,然后点击【查看网页源代码】选项,就可以查看源代码了:源代码如下:如果你是用Chrome浏览器,也可以直接在网页前面加前缀view-source:如,view-source:https://www.zhihu.com/explore,也是可以找到网页源代码。网页源原创 2020-07-25 12:07:32 · 3356 阅读 · 0 评论