Python
SimZhou
这个作者很懒,什么都没留下…
展开
-
探索asyncio中的协程嵌套,以及在爬虫设计上的应用
1. 前言本文介绍Python库asyncio中的协程嵌套与并行,以及在爬虫设计中的应用。2. 协程嵌套为什么要嵌套协程?现实中的程序往往是一环套一环,比如爬虫获取网页后,可能还需要进行解析,可能还需要再进入一堆页面,可能还需要再对这些页面进一步解析,然后返回解析后的结果。2.1 单个协程单个协程的情况非常简单:async def task(num): ''...原创 2020-02-18 02:55:06 · 1756 阅读 · 2 评论 -
VSCode,真香!
1. 引言对于经常写Python机器学习/爬虫代码的我来说,cmd/cmder + Sublime Text + Spyder + Jupyter Notebook,基本上就够用了。而其中Sublime Text对于我的作用,在于以下几点:- 多光标编辑,配合正则表达式,实现效率编辑,构造json格式可以十分迅速- Json Prettify,依旧是效率相关,使json文件变得易读...原创 2020-01-15 02:30:13 · 1898 阅读 · 0 评论 -
XGBoost源码编译教程,以及编译后.dll文件下载(with cuda 10.2)
注:这其实是一次踩坑经历,为什么呢?因为我编译源码的目的是开启Nvidia显卡的cuda加速。但是当我编译安装完源码后,发现XGBoost其实默认pip安装的版本就支持在双显卡的笔记本下,使用Nvidia独立显卡跑计算的,根本用不着自己编译。具体的查看方法很简单:跑一下xgboost官方的benchmark文件,在跑的过程中打开任务管理器,到“性能”标签下,查看GPU1 - cuda详情:...原创 2019-12-26 14:49:38 · 2513 阅读 · 1 评论 -
笔记本电脑安装cuda10.2并使用pycuda、xgboost测试GPU计算效率(附Colab, Kaggle, BaiduAIStudio性能测试对比)
硬件配置:机型:机械革命s1,2018年CPU:i7-8550UGPU:Nvidia Geforce MX150(满血版),2G显存内存:单条16g (自己更换的)软件信息:CUDA:v10.2.89Display Driver:441.661. 引言最近做机器学习,想测试一下自己的顶配轻薄本上的MX150独显,相比cpu和集显来讲,到底能有多少提速。因此就...原创 2019-12-26 15:49:35 · 2539 阅读 · 0 评论 -
在阿里云CentOS服务器上安装Python3.7并设置为默认Python
1. 引言Linux操作系统自带一个python2.7,没有python3,在开发的时候非常不便,因此需要安装一个python3,并且将python3设置系统默认python,同时还不能影响那些Linux系统中需要用python2的底层文件。2. 方法2.1 查看操作系统及Python基本信息首先查看一下系统的版本以及Python信息,各系统查看信息的方法参考: 查看linux系统...原创 2019-09-02 16:44:18 · 1975 阅读 · 1 评论