- 博客(5)
- 收藏
- 关注
RSS订阅转载 爬虫进阶之多线程爬虫
有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。1、多线程介绍：多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车也可以有多节车厢。多线程的出现就是为了提高效率。同时它的出现也带来了一些问题。更多介绍请参考：https://baike.baid
2020-09-04 11:04:10
196
原创 EM算法
一、EM算法在统计学中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算 [2] ：1）计算期望（E），利用概率模型参数的现有估计值...
2018-10-23 10:00:40
244
原创 PBS管理下ssh秘钥问题
在集群管理的过程中，出现因为秘钥不同步出现投递任务不能返回报错日志的问题。Unable to copy file /opt/pbs/dispatcher/spool/10450.mgr.OU to unser@mgr:~/bin/annovar/humandb/1.qsub.o10450, error 1*** error from copyHost key verification ...
2018-08-10 09:48:01
822
原创 conda管理下的包冲突问题——libstdc++.so.6
在conda包管理工具下，升级一个包的时候，因为要依赖很多其他的包，导致在安装一个新包的时候出现不兼容的问题比较多，昨天在安装一个fastq文件的压缩工具时，升级了gcc编译器版本，在运行ggplot2的时候开始报libstdc++.so.6的版本问题。具体报错如下：error: package or namespace load failed for ‘ggplot2’ in dyn.loa...
2018-08-10 09:33:19
7196
1
转载 python中的矩阵运算
摘自：http://m.blog.csdn.net/blog/taxueguilai1992/46581861python的numpy库提供矩阵运算的功能，因此我们在需要矩阵运算的时候，需要导入numpy的包。1.numpy的导入和使用from numpy import *;#导入numpy的库函数import numpy as np; #这个方式使用numpy的函数时，需要以np...
2018-07-27 10:38:28
593
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人