Python爬虫从基础到实战
文章平均质量分 80
Python爬虫基础知识(爬虫的原理、数据的解析、数据存储、反爬原理)、爬虫数据分析、爬虫框架、经典实战(豆瓣、BOSS直聘、B站、公众号等)
程序员吾非同
公众号「吾非同」 python linux 自动化测试,回复1024给你精选资料。
展开
-
如何优雅的统计Python代码耗时?Python统计代码耗时的几种方法
本文实例讲述了Python中统计代码片段、函数运行耗时的几种方法,分享给大家,仅供参考。时间戳相减在代码执行前后各记录一个时间点,两个时间戳相减即程序运行耗时。获取时间戳time.time...原创 2021-03-30 21:59:10 · 3083 阅读 · 0 评论 -
Python生成词云图原来这么简单|拿来就用能的Python词云图代码_wordcloud
拿来就用能的Python词云图代码|wordcloud生成词云详解词云也叫文字云,是一种可视化的结果呈现,常用在爬虫数据分析中,原理就是统计文本中高频出现的词,过滤掉某些干扰词,将结果生成一张图片,直观的获取数据的重点信息。今天,我们就来学习一下Python生成词云的常用库wordcloud。安装:pip install wordcloudgithub项目:https://github.com/amueller/word_cloudwordcloud对象有很多参数设定,可以绘制不同形状、颜色和尺寸的原创 2021-03-01 17:46:38 · 2054 阅读 · 0 评论 -
pandas玩转excel_pandas操作excel_pandas读写excel
pandas是基于Numpy创建的Python包,内置了大量标准函数,能够高效地解决数据分析数据处理和分析任务,pandas支持多种文件的操作,比如Excel,csv,json,txt 文...原创 2021-02-03 22:00:00 · 838 阅读 · 1 评论 -
Python爬虫数据存哪里|数据存储到文件的几种方式
爬虫请求解析后的数据,需要保存下来,才能进行下一步的处理,一般保存数据的方式有如下几种:文件:txt、csv、excel、json等,保存数据量小。关系型数据库:mysql、oracle等,保存数据量大。非关系型数据库:Mongodb、Redis等键值对形式存储数据,保存数据量大。二进制文件:保存爬取的图片、视频、音频等格式数据。首先,爬取豆瓣读书《平凡的世界》的3页短评信息,然后保存到文件中。https://book.douban.com/subject/1200840/comments/原创 2021-02-26 15:19:27 · 3870 阅读 · 0 评论