Python
执着的风声
这个作者很懒,什么都没留下…
展开
-
Python爬虫--豆瓣电影top信息分页爬取demo
2、分析请求网址,可以看出start为0,limit为20。在页面继续下拉后新的请求网址start变为20,limit还是20。这样就分析出了start会变,每次增加20,limit不变每次显示20条电影信息。注2:此爬虫使用urllib完成,因页面返回数据为json,需要找到对应的js。3、代码开发,可以将start和limit作为参数拼接到ur链接后,start通过键盘输入计算可以每次增加。1、百度搜索豆瓣电影,进入后点击F12查找页面数据返回内容。注1:只是用来简单练习,无频繁且恶意请求。原创 2023-08-24 10:42:58 · 542 阅读 · 1 评论 -
Python爬虫--豆果网美食爬取demo,使用xpath库爬取,保存数据到excel
注2:此爬虫使用urllib和xpath库完成,页面数据都在html标签中。基础爬取,无需登录及验证码输入。1、百度打开上方链接进入网站,点击F12打开查找元素。注1:只是用来简单练习,无频繁且恶意请求。5、运行代码,结果保存在本地项目中。2、导入xpath库。原创 2023-08-24 09:59:35 · 412 阅读 · 1 评论 -
Python爬虫--爬取淘宝热卖demo,最后保存数据到excel,根据输入开始页码结束页码爬取
3、爬取数据需要提取url、User-Agent、Cookie。需要复制到代码中,时间太久Cookie会失效,出现令牌过期,只需要获取新的url和Cookie就行。2、按F12 打开网络(network),查找到对应包含页面数据的js,可点击预览和响应查看返回的数据格式,检查返回的数据是否与页面一致。4、代码开发,运行后输入起始和结束页码,可爬取数据到excel。注2:此爬虫使用urllib库完成,页面返回数据为json。注1:只是用来简单练习,不会频繁且恶意请求。原创 2023-08-23 18:04:50 · 968 阅读 · 1 评论 -
Python3 高德地图GCJ-02火星坐标系与GPS的WGS-84坐标系转换(WGS-84可用作天地图坐标,误差很小)
#!/usr/bin/python# -*- coding: UTF-8 -*-import pandas as pdimport jsonimport mathimport osimport csvx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 扁率def gcj02towg.原创 2022-05-10 16:30:49 · 1961 阅读 · 0 评论