spark
猪逻辑公园
数据分析 机器学习 NLP 风控 营销推荐
展开
-
Spark在Windows下的环境搭建
一、JDK的安装1、1 下载JDK 首先需要安装JDK,并且将环境变量配置好,如果已经安装了的老司机可以忽略。JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,去Oracle官网下载,下载地址是Java SE Downloads。 上图中两个用红色标记的地方都是可以点击的,点击进去之后可以看到这个最新版本的...转载 2019-11-08 14:25:53 · 197 阅读 · 0 评论 -
使用Scala-IDE构建Maven项目
前置环境安装并配置好:Java、spark、Hadoop、scala1. 下载Scala IDE通过以下链接下载Scala IDE:http://scala-ide.org/download/sdk.html根据自己的平台选择自己相应版本下载。下载完成之后解压,如下:选择eclipse.exe启动即可。2. 安装插件原生的Maven插件在Eclipse中,不能应用到sc...转载 2019-10-17 14:06:44 · 411 阅读 · 0 评论 -
spark 将DataFrame所有的列类型改为double
前言由于spark机器学习要求输入的DataFrame类型为数值类型,所以如果原始数据读进来的列为string类型,需要一一转化,而如果列很多的情况下一个转化很麻烦,所以能不能一个循环或者一个函数去解决呢。1. 单列转化方法import org.apache.spark.sql.types._val data = Array(("1", "2", "3", "4", "5"), (...转载 2019-06-20 15:02:27 · 515 阅读 · 0 评论 -
PySpark︱DataFrame操作指南
pyspark系列--字符串函数增/删/改/查/合并/统计与数据处理《Spark Python API 官方文档中文版》 之 pyspark.sql (一)《Spark Python API 官方文档中文版》 之 pyspark.sql(二)...原创 2019-07-26 13:52:12 · 354 阅读 · 0 评论