- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 用Python爬了225座城市6758家餐厅，窥探国人吃小龙虾的不同姿势(附代码)
导读：世界杯激战正酣，大家在欣赏精彩比赛的同时，怎能少了美食的陪伴，我们今天就来聊聊世界杯的好丽友——小龙虾。01 获得数据本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅：从上图中可以看出，我们可以获得餐厅的人均消费、点评数量、推荐菜、评分（口味、环境、服务）等信息，用于我们之后的分析。我们此次总共爬取到了225个城市，6758个餐厅，121.3万条评论。我们截取其中的部...
2018-06-29 15:55:10
668
转载 一步步理解python的异步IO
分享至：一步步理解python的异步IO前言看到越来越多的大佬都在使用python的异步IO，协程等概念来实现高效的IO处理过程，可是我对这些概念还不太懂，就学习了一下。 因为是初学者，在理解上有很多不到位的地方，如果有错误，还希望能够有人积极帮我斧正。下面就使用一个简单的爬虫的例子，通过一步一步的改进，最后来用异步IO的方式实现。1. 阻塞的IO我们要实现一个爬虫，去爬...
2018-06-28 18:57:46
7508
2
转载 Python进程线程协程那些事儿
一、进程与线程1.进程我们电脑的应用程序，都是进程，假设我们用的电脑是单核的，cpu同时只能执行一个进程。当程序处于I/O阻塞的时候，CPU如果和程序一起等待，那就太浪费了，cpu会去执行其他的程序，此时就涉及到切换，切换前要保存上一个程序运行的状态，才能恢复，所以就需要有个东西来记录这个东西，就可以引出进程的概念了。进程就是一个程序在一个数据集上的一次动态执行过程。进程由程序，数据集...
2018-06-22 16:57:09
2141
1
转载 Python元编程：控制你想控制的一切
很多人不理解“元编程”是个什么东西，关于它也没有一个十分准确的定义。这篇文章要说的是Python里的元编程，实际上也不一定就真的符合“元编程”的定义。只不过我无法找到一个更准确的名字来代表这篇文章的主题，所以就借了这么一个名号。副标题是控制你想控制的一切，实际上这篇文章讲的都是一个东西，利用Python提供给我们的特性，尽可能的使代码优雅简洁。具体而言，通过编程的方法，在更高的抽象层次上对一种...
2018-06-19 20:58:57
5001
1
转载 听歌识曲--用python实现一个音乐检索器
听歌识曲，顾名思义，用设备“听”歌曲，然后它要告诉你这是首什么歌。而且十之八九它还得把这首歌给你播放出来。这样的功能在QQ音乐等应用上早就出现了。我们今天来自己动手做一个自己的听歌识曲我们设计的总体流程图很简单：录音部分我们要想“听”，就必须先有录音的过程。在我们的实验中，我们的曲库也要用我们的录音代码来进行录音，然后提取特征存进数据库。我们用下面这样的思路来录音# codi...
2018-06-19 16:21:17
6054
3
转载 Python破解-图形验证码
前言写爬虫有一个绕不过去的问题，那就是验证码，比如像某乎，如果不先登陆，连里面的内容数据都爬不到，而验证码就是网站进行发爬虫的一种措施，随着技术的发展，验证码越来越复杂，爬虫的工作越来越艰苦，所以这次就来讲解，怎么来识别验证码；（听上去口气很大的感觉）image.png先来看看，目前遇到的验证码种类有哪些？1）图形验证码图形验证码应该是最简单的一种验证码，这种验证码是最早出现...
2018-06-09 21:43:17
26289
6
转载 Python 性能优化的20条招数
优化算法时间复杂度算法的时间复杂度对程序的执行效率影响最大，在 Python 中可以通过选择合适的数据结构来优化时间复杂度，如 list 和 set 查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式，总得来说，一般有分治，分支界限，贪心，动态规划等思想。减少冗余数据如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。...
2018-06-06 20:26:28
1331
转载 python有趣用法汇总
使用python过程中经常会不经意间遇到非常有趣的用法，于是特意搜集了一些有趣的用法1.for-else用法循环正常结束则执行else语句。一般用于循环找符合条件的元素，如果找到则break调出循环，不会触发else；如果没有找到（完整运行循环）则print not found《Effictive Python》一书中对for-else用法提出了质疑，主要观点是可以...
2018-06-06 15:11:17
1471
转载 python异常处理笔记
先引入一个网上找的表格异常名称 描述 BaseException 所有异常的基类 SystemExit 解释器请求退出 KeyboardInterrupt 用户中断执行(通常是输入^C) Exception 常规错误的基类 StopIteration 迭代器没有更多的值 GeneratorExit 生成器(generator)发...
2018-06-05 14:44:01
579
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人