Spark
文章平均质量分 78
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
Michael阿明
两个孩子的父亲,8年机械工程师,已转行互联网做算法,一起继续加油!高举智慧,她就使你高升;怀抱智慧,她就使你尊荣。-- 箴言(4:8)
展开
-
Spark 机器学习中的线性代数库
文章目录1. DenseVector、SparseVector2. DenseMatrix3. SparseMatrix4. Vector 运算5. 矩阵运算6. RowMatrix学自:Spark机器学习实战https://book.douban.com/subject/35280412/环境:win 10 + java 1.8.0_281 + Scala 2.11.11 + Hadoop 2.7.7 + Spark2.4.71. DenseVector、SparseVector // 通过数原创 2021-05-06 20:57:27 · 334 阅读 · 0 评论 -
Spark IDEA 编程环境配置
文章目录1. 下载资料准备2. 建立项目、添加环境设置学自:Spark机器学习实战https://book.douban.com/subject/35280412/记录一下踩过的坑:环境:win 10 + java 1.8.0_281 + Scala 2.11.11 + Hadoop 2.7.7 + Spark2.4.71. 下载资料准备配套代码下载:https://www.epubit.com/bookDetails?id=UB72279bcfb49b8下载 jar 包(注意版本2.11是s原创 2021-04-29 09:01:06 · 327 阅读 · 0 评论 -
WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录
文章目录0. 常规解压安装,并添加环境变量1. 下载并覆盖 bin 文件夹2. 使VERSION文件的clusterID一致3. 贴下单机配置测试0. 常规解压安装,并添加环境变量1. 下载并覆盖 bin 文件夹下载 hadooponwindows-master.zip下载地址:https://pan.baidu.com/s/1o7YTlJO将下载好的 hadooponwindows-master.zip 解压,将解压后的 bin目录下的所有文件直接覆盖Hadoop的 bin目录2. 使VE原创 2021-04-27 20:13:48 · 541 阅读 · 0 评论 -
RDD 编程
文章目录1. RDD 创建2. RDD转换3. RDD动作4. 持久化5. 分区1. RDD 创建从文件创建Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.1.0 /_/ Using Scala version 2.11.8 (OpenJDK 6原创 2021-04-23 19:46:37 · 551 阅读 · 0 评论