Python
小田同学tdx
这个作者很懒,什么都没留下…
展开
-
linux cuda10.0使用pip安装pytorch
wget https://download.pytorch.org/whl/cu100/torch-1.3.0%2Bcu100-cp36-cp36m-linux_x86_64.whlwget https://download.pytorch.org/whl/cu100/torchvision-0.4.1%2Bcu100-cp36-cp36m-linux_x86_64.whl\下载上述文件,...原创 2019-11-08 10:15:40 · 3481 阅读 · 0 评论 -
windows下python numpy,scipy,pandas 等模块的安装
1、首先进入http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到和你需要的 .whl 包,必须和你安装的Python的版本对应。2、进入dos 命令, 进入到你安装的Python目录下的 scripts文件夹下,同时把你刚才下载好的包复制到这个文件夹下。3、输入 pip install ****.whl 就ok了4、如果,第三部不可以执行,在pi原创 2017-02-21 19:49:19 · 599 阅读 · 0 评论 -
基于DBSCAN聚类算法的通用论坛正文提取
通用论坛正文爬取这是今年和队友一起参加第五届泰迪杯的赛题论文,虽然最终只获得了一个三等奖。但是在这个过程中和队友也一起学到了不少东西,特此记录。1、 简单介绍赛题的目的,是让参赛者对于任意 BBS 类型的网页,获取其 HTML 文本内容,设计一个智能提取该页面的主贴、所有回帖的算法。http://www.tipdm.org/jingsa/1030.jhtml?cName=ral_原创 2017-06-07 12:13:32 · 4112 阅读 · 5 评论 -
python 利用多进程进行爬虫(二)
上次写的python多线程爬虫,并没有充分利用cpu资源,实际上只进行了一个核。这里简单的介绍一下几个函: pool = Pool(3) #根据cpu核数设置进程个数 pool.map(get_infor,urls) ,#map函数的作用,将urls中每个元素到放入到get_infor中执行一遍 pool.close() #关闭进程池 pool.join() #等待全部进程结束代码:原创 2018-01-01 11:22:09 · 614 阅读 · 0 评论 -
Python 利用多线程进行爬虫(一)
这几天帮同学爬取拉勾网的招聘信息,真好学习一下多线程爬虫,之前做过几次爬虫都是单线程的。看到网上说python由于GIL的存在,多线程的效果不好。但是当处理IO比较密集的任务时,网络请求时间较长时,多线程可以充分利用cpu资源。参考链接:https://www.ibm.com/developerworks/cn/aix/library/au-threadingpython/http原创 2017-12-30 21:21:30 · 524 阅读 · 0 评论 -
python 混淆矩阵 记录
from sklearn.metrics import accuracy_score, confusion_matrix, f1_scoredef plotCM(classes, matrix, savname): """classes: a list of class names""" # Normalize by row # matrix = matrix.asty...原创 2018-12-20 20:08:32 · 931 阅读 · 0 评论 -
python+cv2 模拟生成QQ、微信截图中的箭头
参考链接:http://yuncode.net/code/c_5acf1045152e662最近需要生成一批含有箭头的样本,cv2自带的画箭头的函数和微信截图中画箭头的形状不一样,因此需要重新写一个生成微信箭头的函数(如果cv2有,请告诉我一下)微信、QQ截图 箭头形状cv2 自带函数生成 *** 可以观察到两者的主要差异体现在 尾部和箭头 利用python+cv2生成:(可自...原创 2018-12-24 20:11:32 · 1251 阅读 · 0 评论 -
window下python安装 geopandas
参考:https://geoffboeing.com/2014/09/using-geopandas-windows/简单翻译一下:安装geopandas 有两种方式1、安装Anaconda, 然后安装geopandas, 如果不想安装anconda则使用第二种方法。2、手动安装手动安装步骤:需要安装依赖,GDAL、Fiona、pyproj、rtree 和 sh...原创 2019-08-08 19:07:58 · 999 阅读 · 0 评论