- 博客(4)
- 资源 (3)
- 收藏
- 关注
原创 Spark术语理解
为了理解Spark中一些术语,仔细阅读了官方文档以及查阅了相关资料,现记录如下:1.Application: 在spark上构建的应用程序,由driver和executors构成;2.work node:工作节点,在集群中能够运行app的任何节点。3.driver:运行main函数并创建SparkContext的进程,在Client模式中,在集群外开启driver;cluster中
2017-06-07 09:30:31 366
原创 二叉树遍历
留着以后看看,另一方面希望能对其他人有一定帮助,主要是记录自己对二叉树遍历的理解,如果有错误欢迎指出先将二叉树补为完全二叉树,用null表示,如图:得到结果如下(都是从根节点出发)先序遍历:第一次经过 ABDGCEF中序遍历:第二次经过 DGBAECF后序遍历:最后一次经过 GDBEFCA不知道有没有理解出错,欢迎批评指正和讨论。
2017-05-26 18:10:46 319
原创 将RDD转换成DataFrame
InteroperatInteroperating with RDDsSpark SQL supports two different methods for converting existing RDDs into Datasets. The firstmethod uses reflection to infer the schema of an RDD that contains
2017-03-21 16:45:55 432
原创 word2vec安装使用
本文参考了一些网上的安装和使用资料,由于没有一篇完整的解决了我的文本,所以并对其进行整合并成功的在我机器中运行(win10 python3.5.2 64bit),如有侵犯那位大大的知识,烦请告知,谢谢。第一部分:安装gensim库首先安装python,然后在环境变量中添加相应的路径。其次安装如下gensim依赖的包:(1)numpy(2)scipy(3)pymssql
2016-11-15 11:02:50 12942 1
复旦大学语料包括训练集和测试集
2018-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人