- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 （自用）新手小白接触数据分析常用资源链接
1、自己PUA自己系列 | 入职前让我眼前一亮的数据分析工作方法：https://mp.weixin.qq.com/s/G1J4f259V2O5f3DS9r19lQ数据分析师的职业规划|常见分析模型|给小白的建议
2021-09-05 16:54:05
294
原创 爬虫|基于船讯网实现AIS数据爬虫 船讯网轨迹数据以及轨迹信息
获得所需要的MMSIimport requestsimport json# 获取 MMSIurl_MMSI = "https://www.myships.com/ms/label/getShipsBasedOnConditions"areaId = { '海南': 46, '广西': 45, '深圳': 44, '广东': 43, '福建': 42, '浙江': 41, '上海': 40, '连云港': 39, '江苏': 38, '山东': 37, '天津': 36, '河北':
2021-03-25 09:59:56
4698
13
原创 船讯网|爬虫COOKIE重定向反爬处理
在之前船讯网爬虫船舶得各种mmsi\imo信息的时候由于爬取过多导致被反爬，因此针对这个问题修改了代码如下！COOKIE的处理：保存客户端的相关状态在爬虫中如果遇到了cookie的反爬如何处理?手动处理 在抓包工具中捕获cookie,将其封装在headers中 应用场景:cookie没有有效时长且不是动态变化 自动处理 使用session机制 使用场景:动态变化的cookie session对象:该对象和requests模块用法几乎一致.如果在请求的过程中.
2021-02-08 22:06:48
1387
6
原创 详细船舶信息爬虫教程：船讯网根据MMSI爬取对应船舶属性信息|附python爬虫代码
这里爬取的内容包括了船舶的**mmsi,imo，船舶宽度，船舶长度，船舶吃水深度**等比较详细的信息，***大体思路是根据Post得到数据然后我导入了mysql的数据库里。***
2021-01-13 17:44:15
7736
27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人