![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 77
一条小海龟
爱吃bug的小海龟,大数据开发重度热爱者,容易被一些高技术吸引,目前忙于工作中…
展开
-
xpath爬取智联招聘--大数据开发职位并保存为csv
先上项目效果图:本次爬取的URL为智联招聘的网址:https://www.zhaopin.com/我们进入“大数据开发工程师专栏”:老规矩,F12打开开发人员附页,我们需要的是工作名,工资,地址,工作经验,学历以及所需要的技能。点击页面第一个招聘信息的“大数据开发工程师”,观察开发人员附页可以看到如下:我们定位到,用xpath解析这里为根路径,之后的工作名,工资,地址,工作经验,学历以及所需要的技能都是从这个路径开始循环解析。(因为xpath解析到上面的路径是多个对象原创 2021-03-04 19:23:58 · 6256 阅读 · 12 评论 -
爬取高德题图数据,制作简易天气预报系统
今天我们来通过爬取高德地图来制作简易的天气预报系统(后面有完整代码,大佬可以逆向观看哦)下面是结果图:开干!!!目标网站:高德地图官网https://www.amap.com/老规矩按F12打开开发测试页面如下:找到图中网络菜单:通过XHR栏我们找到天气列表的json请求:weather?adcode = 441400假如你是直接百度搜高德地图,进去之后直接按F12的话,可能是没有这个请求的,这时你要返回高德地图那里点一下定位,让高德地图获取到你的定位:接下来我们分析我们上面得到原创 2021-01-31 22:51:59 · 3397 阅读 · 0 评论 -
(详细)python爬取网页信息并保存为CSV文件(后面完整代码!!!)
本次爬取的网页是猎聘网内关于深圳的所有招聘信息,一共400多个职位,并保存为csv文件存储,好了,话不多说,开始进入讲解。(对爬虫感兴趣的,可以参考此篇文章的做法去爬你想要的网站去吧!!!)首先打开目标网站:https://www.liepin.com/zhaopin/?compkind=&dqs=050090&pubTime=&pageSize=40&salary=&compTag=&sortFlag=&compIds=&subIn原创 2020-10-29 00:14:32 · 26573 阅读 · 14 评论 -
解决:pip下载第三方库出现下载速度慢,下载失败,下载卡顿
博主在用pip下载某个第三方库的时候出现了:pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.具体如下:解决:换个豆瓣的下载网站如下:pip --default-timeout=100 install 库名称 -i http://pypi.douban.com/simple/ --t原创 2020-10-21 00:11:31 · 3178 阅读 · 0 评论 -
解决使用pipenv install,出现错误NoneType object has no attribute version_sort
解决使用pipenv install,出现:"AttributeError: ‘NoneType’ object has no attribute ‘version_sort’"错误在进行安装 虚拟环境的时候,出现下面的错误:相必你搜遍了全网可能还是解决不了,下面就让我来解决吧。出现这个问题的原因是在你创虚拟环境的目录下的Pipfile文件里没有指定你本机的python版本。那该如何解决呢?首先打开cmd输入python查看你的python版本然后在打开你的Pipfile文件:在最后面添加两行原创 2020-06-27 19:23:54 · 5792 阅读 · 9 评论