2019年09月_PrincessLin

原创【Spark+NLP】19、在ubuntu上配置tensorflow的环境（python + tf + tfonSpark + pyspark）

1、安装python：ubuntu系统自带python，不是最新版但能凑合用。查看版本：ls -l /usr/bin | grep python2、安装pip：sudo apt-get install python-pip python-dev踩坑：（python3.x版本对应的pip3，所以后面又将命令行改成：sudo apt-get install pyth...

2019-09-26 16:57:23 359 1

原创【Spark+NLP】18、pyspark的安装和使用

写在前面： nlp卡在cnn有一个星期了，遇到种种困难无法决定使用哪门语言来写：1、scala：优点：在spark环境下，scala是主流、速度最快、代码最简洁的语言，word2vec就是用的它。缺点：用scala写神经网络没有现成的方法！（word2vec在spark-mllib库中有现成的直接用）让新手纯手写感觉天方夜谭！网上资料...

2019-09-25 16:27:16 633

原创【Spark+NLP】17、spark-ml + spark-sql_关于rdd和dataframe的踩坑血泪史

说明：因为后期要做基于spark的项目，本人懒得纯手打了，决定在别的项目基础上修改过来即可。项目中要用到spark-ml的word2vec生成词向量，于是直接借用之前的手机短信项目的前半截了。代码不贴了，写下心得：利用spark-mllib库现成的word2vec轻轻松松几句代码就实现了。得到的词向量等内容存储在preResultDF中，我想看下生成的词向量什么样。1、sa...

2019-09-18 16:27:17 426

原创【Spark+NLP】16、win10下使用IDEA完整运行一个spark ml机器学习程序

1、在pom.xml中添加spark mllib依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.12</artifactId> <version>${spark.version}</ve...

2019-09-16 11:11:27 563

原创【Spark+NLP】14、使用IDEA运行spark小程序 + jar包在spark分布式环境中运行

统计E盘下helloSpark.txt文件中每个单词的出现次数一、测试代码：import org.apache.spark.{SparkContext, SparkConf}object spamm { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("wordcou...

2019-09-11 18:02:02 369

原创【Spark+NLP】13、使用IDEA创建spark项目 + pom.xml的配置

说在前面：之前spark的分布式环境终终终终于搭建好了，下一步就是开始spark编程了。我用到的是IDEA。临时先在windows环境下操作，过两天移到linux环境中。一、IDEA的安装https://blog.csdn.net/PrincessLin/article/details/91540040二、idea安装scala + maven的安装和配置https:/...

2019-09-11 14:59:36 520

原创【Spark+NLP】11、免密钥ssh登录 + hadoop分布式环境搭建！

一、ubuntu 18.04 vim的安装VPS从16.04换到18.04，发现vim命令找不到了，只有vi，界面一般，方向键还不对。重新安装vim就能解决问题：sudo apt-get remove vim-commonsudo apt-get install vim二、ssh免密登录1、首先确认 openssh-server是否安装成功确认命令：ps -e|...

2019-09-05 17:32:07 263

原创【Spark+NLP】10、vmware虚拟机系统克隆后网络配置（2）（ubuntu18）

说明：上篇实现了单个虚拟机的网络配置，能够成功ping到百度等网站，但另外两台虚拟机网络配置时遇到各种问题，参照本篇进行修改+配置后成功了。1、Ubuntu18.04的网络配置有台虚拟机死活连不上网，根据这个又配置了一遍居然成功了！！！！https://www.cnblogs.com/opsprobe/p/9979234.html2、Ubuntu18.04连不网...

2019-09-05 15:31:36 172

PrincessLin的专栏