![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
weixin_74
这个作者很懒,什么都没留下…
展开
-
windows下pycharm搭建spark环境,练习SparkMllib(附代码并成功运行)
总体的架构与sparkSQL类似,架构可参考windows下pycharm搭建spark环境,练习SparkSQL(附代码并成功运行)本文章与sparkSQL类似的架构读取三个文件数据,并导入包pyspark.mllib.recommendation import ALS创建并训练出模型,显示推荐的电影名称然后保存模型,并且再次调用# 主 题:Spark Mlibimport osimport sysimport findspark # 一定要在最前面导入# 初始化spark环境f原创 2021-05-17 15:43:51 · 458 阅读 · 0 评论 -
windows下pycharm搭建spark环境,练习SparkSQL(附代码并成功运行)
测试数据内容和类型:先上结果图(图片较多哈~):代码(图片较多哈~):# 主 题:spark SQLimport osimport sysimport findspark# 初始化spark环境findspark.init()# Path for spark source folderos.environ['SPARK_HOME'] = "G:\Spark\Install\spark-2.4.3-bin-hadoop2.7"# Append pyspark t原创 2021-04-28 17:30:00 · 654 阅读 · 0 评论 -
windows环境下netcat的安装及使用
windows环境下netcat的安装及使用我是在测试sparkStreaming时候用到转载 2021-04-28 16:51:04 · 156 阅读 · 0 评论 -
windows下pycharm搭建spark环境,并成功运行(附代码)
一、创建项目和.py文件二、在pycharm中添加spark环境若是左侧的python中没有,可点击‘’+‘’号进行添加配置spark环境:总共3个(SPARK_HOME、HADOOP_HOME、PYTHONPATH)(注:SPARK_HOME和HADOOP_HOME已在系统的环境变量添加,故这里不再添加)在编写代码时,建议添加如下代码,保证程序能够运行成功:import osimport sysimport findspark # 一定要在最前面导入'''初始化spark环原创 2021-04-26 16:27:52 · 2500 阅读 · 0 评论 -
SecureCRTPortable链接ip(虚拟机)(图文详解)
【确定虚拟机ip地址】可参考:https://blog.csdn.net/weixin_44727274/article/details/107265723SecureCRTPortable是个绿色文件,下载安装包,解压即可使用。虚拟机开启下,双击打开,建立快速连接:设置完成后,点击【链接】输入密码后,...原创 2021-03-14 06:49:30 · 1225 阅读 · 0 评论 -
Ubuntu 16.04中 Spark安装
准备:首先准备好spark安装包当然其他版本的也好,但jdk最好是1.8以上可以使用ubuntu内部网站下载相关安装包,或者在windows下载之后通过ubuntu的客户端传入ubuntuscala-2.11.12.tgzspark-2.4.3-bin-hadoop2.7.tgzSpark安装步骤:1:需要安装jdk,并配置环境变量(注:首先:配置好虚拟机:IP地址)IP地址:可参考链接:https://blog.csdn.net/weixin_44727274/article/detai原创 2021-03-11 12:28:36 · 355 阅读 · 0 评论