![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
Simone Zeng
这个作者很懒,什么都没留下…
展开
-
用python 画南丁格尔图 pyecharts
最近的新冠疫情真是超级严重,在这期间,我们经常遇到统计各地区的病例图——南丁格尔图。它有一个很好听的名字,玫瑰图。我们今天一起来看看吧!用python做数据可视化,我们很容易想到pyechart这个库(这里我们用的是v1版本,它与v0.5.x是不兼容的,大家可以学习一下新版本哦)pyecharts官网可以移步 http://pyecharts.org/#/zh-cn/ (有中文的)饼图的相...原创 2020-03-31 19:50:14 · 2350 阅读 · 0 评论 -
pickle 使用入门
pickle简介标准模块pickle模块实现了基本的数据序列化和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去(保存文件的后缀为”.pkl”),永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。这里注意,对于用户自行定义的对象,就必须要先定义类,然后才能从文件中载入对象。主要有四个函数1. pickle.d...原创 2019-04-14 18:27:41 · 669 阅读 · 0 评论 -
xpath.extract() 的使用
最近在爬虫中使用xpath的时候,发现了extract这个方法我们今天就来说说 xpath.extract 叭extract 的用法不加extract时,返回一个SelectorList 对象这里没有用 extract 时,是这样的(文末附有 SelectorList 的一些信息)使用extract() ,返回一个列表,里面是提取的内容然后,我们使用 extract()...原创 2019-04-16 09:59:23 · 6071 阅读 · 0 评论 -
scrapy框架入门
数据,包括用户提供的网络爬虫请求,以及从网络上获取的相关内容,在这些结构直接相互流动形成了数据流。路径1:请求通过SPIDERS到达ENGINE之后, ENGINE将这个爬去请求转发给了SCHEDULER模块(负责对爬去请求调用)。路径2:从SCHEDULER到达ENGINE(获得下一个要爬取的网络请求,这时的网络请求是真实的), 再到达DOWNLOADER(拿到请求后,连接互联网,并且爬取相...原创 2019-02-16 13:24:18 · 301 阅读 · 0 评论 -
python爬虫(BeautifulSoup库入门)
最近在学习爬虫,本篇是MOOC中的北理嵩天老师的课程笔记:python网络爬虫与信息提取。适合小白入门BeautifulSoup库,阅读全篇需要6、7分钟。欢迎大佬指正,谢谢哦~Beautiful Soup(bs4)1. 基础知识它是一个用于解析html 和 xml 的功能库。1.1首先,我们知道html文件,是由一对对的<>组成的,所以,我们又可以说,Beautifu...原创 2019-02-09 17:53:49 · 768 阅读 · 0 评论 -
scrapy实例(pipeline保存数据的各种错误)
然后我发现它换了一个键错误,后来我想到,是我键值对的键,符的是中文,不是item里面的这里又有一个错误,于是我把写入时的 “wb” 改成了 “w”乱码首先,在spider这里没问题这里的infoDict也没问题,不过name_key这里为空,一会还要改一下正则然后我想到上面正确的列数和下面乱码的列数不一样,我想到自己在pipeline这里 有些键没有写,于是我把所有键都都写...原创 2019-03-01 17:43:34 · 1444 阅读 · 0 评论 -
requests 爬虫 IP池
重点为:1、一定要观察要爬取的详情页url有没有规律2、爬取的时候,可以加入暂停的时间其他就没什么了今天做开县的爬取,感觉自己被坑了一波链接有两种形式:结果我爬着爬着就停了,于是我又找到最后一条,耶,找到了。然后我再从这个号开始爬但是我总是爬着爬着就停了,这。。。。不会就是。。。。网址的服务器挂了叭然后学长说,并不是!应该是我的IP被这个网站封了。于是我就开始了 探索IP池...原创 2019-03-11 21:47:17 · 580 阅读 · 0 评论 -
POST实例详解 scrapy
cqupthub 任务三记录重点1、学会了用post2、用meta传3、长于11位的数字,写入csv时,会有科学计数法回调 callbackcallback 是一个函数,在发生某一个事件后,会调用该函数用POST大概就是,我们POST一个表单给服务器,于是服务器会返回一些有用的东西给我们。我们再对返回的信息处理。首先,我们用scrapy.FormRequest来提交表单。然...原创 2019-03-17 11:14:18 · 1283 阅读 · 0 评论