原博文
2017-01-11 10:32 −
Step0:安装好Java ,jdk Step1:下载好: Step2: 将解压后的hadoop和spark设置好环境变量: 在系统path变量里面+: Step3: 使用pip安装 py4j : pip install py4j 如果没装pip那就先装一下 例程:wordcount.py...
0
2064
相关推荐
2019-11-22 16:22 −
spark可以作为一个分布式的查询引擎,用户通过JDBC/ODBC的形式无需写任何代码,写写sql就可以实现查询啦,那么我们就可以使用一些支持JDBC/ODBC连接的BI工具(比如tableau)来生成一些报表。
spark thriftserver的实现也是...
2019-11-29 20:17 −
1.首先检查Hadoop相关进程,是否已经启动。若未启动,切换到/apps/hadoop/sbin目录下,启动Hadoop。 view plain copy
jps
cd /apps/hadoop/sbin
./start-all.sh
2.在Linux本地新建/data/spark5目录。 ...
0
269
2019-12-20 15:08 −
https://www.cnblogs.com/sharpxiajun/p/5506822.html 操作类型 函数名 作用 转化操作 map() 参数是函数,函数应用于RDD每一个元素,返回值是新的RDD flatMap() 参数是函数,函数应用于RDD...
2019-12-14 17:24 −
spark on yarn 的执行过程在 yarn RM 上无法直接查看,即 http://192.168.10.10:8088,这对于调试程序很不方便,所以需要手动配置
配置方法
1. 配置 spark-defaults.conf
cp spark-...
2019-12-17 14:10 −
Data Serialization
对spark程序来说,可能会产生的瓶颈包括:cpu,网络带宽,内存
在任何分布式应用中数据序列化都非常重要,数据序列化带来的作用是什么?第一减少内存占用,第二减小网络传输带宽消耗。spark提供了两种序列化方式:
1.Java serialization
默认情...
2019-12-23 14:58 −
1.什么是SparkRDD算子:
总的来讲RDD是Spark最小的数据抽象,每一个rdd算子都拥有五个主要的属性:
1.RDD是一组已经分好区的数据集
2.RDD拥有计算分区数据的功能
3.依赖其他RDD
4.对于key-value格式的RDD,可以自定义分区
5.RDD更喜欢在数据本地计算数据(即...
2019-12-25 20:44 −
https://blog.csdn.net/lsshlsw/article/details/51213610...
2019-12-15 09:26 −
进入2018年了,谷歌的 tensorflow 如火如荼,更新一把 系统:Win10 64-bit 显卡:GTX 960m Python:3.6 安装 Python 环境 用的 Anaconda,版本 4.5.2,python 3.6。 安装 tensorflow 根据...
0
186
2019-12-10 16:10 −
### 1.被远程的PC: #### (1) 下载 [OpenSSH-Win64.zip](https://github.com/PowerShell/Win32-OpenSSH/releases/download/v8.0.0.0p1-Beta/OpenSSH-Win64.zip),并解压到本地;...