- 博客(6)
- 收藏
- 关注
原创 python爬虫学习笔记(四)
之前学习的内容进行网页内容下载时采用的是单线程单任务的方式,如果下载任务量较大,则需要花费很长时间,资源没有充分利用,时间消耗也比较大,因此引入多线程和线程池的概念和使用。单线程的特点:对需要完成的任务依次逐个完成;多线程的特点:几个任务同时进行,其最重要的特点就是让程序能够同时执行多个任务。
2023-03-22 15:32:34 253
原创 python爬虫学习笔记(三)
在进行爬虫代码的编写前,要对要爬取的页面源代码和要实现的功能进行分析,尽量选择最简捷的方式完成所需的功能。在源代码中,很多都包含script模块,该模块中可能存放了与该页面有关的同级的页面信息,从而可以避免访问所有页面而获取所有页面中的有效内容。
2023-03-19 22:26:01 167
原创 python爬虫学习笔记(二)
该笔记主要用于整理在进行学习中笔者认为比较重要的笔记,主要来自于bilibili和几本入门书籍中的内容,篇幅有限,具体示例可查看bilibili等资源和相关书籍。
2023-03-19 20:46:34 289
原创 python爬虫学习笔记(一)
该笔记主要用于整理在进行python爬虫学习中笔者认为比较重要的笔记,主要来自于bilibili和几本入门书籍中的内容,篇幅有限,具体示例可查看bilibili等资源和相关书籍。
2023-03-16 19:17:04 540
原创 经纬度和三维地心直角坐标系的相互转换
WGS84坐标系的几何意义是:坐标系的原点位于地球质心,z轴指向BIH1984.0定义的协议地球极(CTP)方向,x轴指向BIH1984.0的零度子午面和CTP赤道的交点,y轴通过右手规则确定。在测绘和遥感等专业的应用中,经常需要进行经纬度和地心坐标系之间的相互转换,由于地球不是一个严格的球体,故其转换相对复杂,这里直接给出两者之间进行转换的公式,适用于所有以地心为原点的参考椭球。需要注意的是,L的计算结果在[-pi/2,pi/2]之间,需要结合实际情况进行进一步的处理。X,Y,Z:直角坐标,右手系。
2023-03-15 17:40:16 2456
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人