2019年04月_海の云

12月 11月 09月 08月 07月 06月 05月 04月 01月

原创关于PyQt5中PyQtWebEngine的最新使用

大家知道用Python做爬虫如遇动态渲染javascript则需要一些框架如PyQt，然而PyQt5 相比4做了很大的改动，似乎难用了许多，没有了findAllElements方法，无法直接查找元素，用lxml加载之后又与原文档失去了关联，那么该如何动态修改页面元素呢？下面给出了我的改进用法，希望对大家有所帮助：import csvimport timetry: from P...

2019-04-14 17:29:20 10309 1

从很多年前接触到“特征值”这个词开始，我就一直有个疑问没搞明白，为啥矩阵 “特征值”和“特征向量”中的“特征”，与我们日常理解的、一般口语中的“特征”差异怎么就那么大呢？！比方说张飞的“特征”是高大，黑，大胡子……，但矩阵的“特征值”却是：设A是n阶方阵，如果数λ和n维非零列向量x使关系式Ax=λx 成立，那么这样的数λ称为矩阵A的“特征值”。张飞的特征例子和特征值的定义放在一块，真的非常的风...

2019-04-11 15:34:26 12047 4

转载 Spark数据类型SparseMatrix

SparseMatrixSpark的mllib包中提供了机器学习的两种基本数据类型： DenseMatrix（稠密）和 SparseMatrix（稀疏），在初始化对象的时候可以使用Matrices伴生对象产生，先看下示例代码：import org.apache.spark.mllib.linalg.{Matrix, Matrices}// Create a dense matrix ((...

2019-04-09 14:20:44 192

转载 Spark启动时的master参数以及Spark的部署方式了解一下

我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下： conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-submit \ --cluster cluster...

2019-04-02 11:31:46 4761

原创 Python 异步操作

依赖的包：from pubsub import pubfrom threading import Thread核心代码：class ScrapeThread(Thread): def __init__(self, event): # 线程实例化时立即启动 # Thread.__init__(self) super(Scrap...

2019-04-01 15:53:11 901

原创新Spark MLlib库读取recommend结果值

改成新org.apache.spark.ml包（未来mllib包将不再使用，现已不再更新），很多人都会困惑如何读取预测的结果集，这里来讲解下：比如：ALSModel训练后抓取里面的每个用户最喜欢的前10个品类model.recommendForAllUsers(10)返回的结果集是DataFrame，那么怎么去使用这个dataframe呢？下面给出个小demo：...

2019-04-01 14:34:33 1113

转载【Scala】使用Option、Some、None，避免使用null

避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？Scala的Option类型为了让所有东西都是对象的目标更加一致，也为了遵循函数式编程的习惯...

2019-04-01 11:18:26 201