![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
coolerzZ
面向搜索引擎算法研究。
展开
-
sql percentile求分位数记录
sql 中percentile求分位数时,如果出现null的时候,该方法会直接忽略null,在剩下的数中求分位数。例如 null,null,3,4,5,6,7 的中位数是 5,上四分位数是4,下四分位数是6原创 2020-09-22 14:19:44 · 4871 阅读 · 0 评论 -
linux中nuhup笔记
nohup sh runshell.sh > log.log 2>&1 & tail -f log.log原创 2020-04-07 11:29:12 · 386 阅读 · 0 评论 -
T检验显著性检验根据t值计算p值
使用scala进行T检验,独立样本T检验(independent samples t-test)中的异方差公式如下:详细参考内容见链接t值根据均值、自由度、方差可以直接计算,由t值计算p值利用了java的math3,maven配置添加下面内容即可:<dependency> <groupId>org.apache.commons</groupI...原创 2020-03-17 09:09:55 · 12764 阅读 · 8 评论 -
scala windows本地配置lzo读取所需相关组件
具体内容如上图,包括gplcompression.dll,lzo2.dll(已经编译好),hadoop-lzo-0.4.21-SNAPSHOT.jar这个是csdn上下载的,那个老哥下载需要积分,这里分享出来。传送门芝麻开门:xus5...原创 2020-01-13 08:44:46 · 483 阅读 · 2 评论 -
idea_spark配置maven小知识点
https://mvnrepository.com/search?q=sparkpom文件中各个版本对应情况如果这块配置了,hosts文件也需要配置集群的节点,否则即使跑本地文件时也会试图先连接集群,从而报错。...原创 2019-08-14 09:42:15 · 182 阅读 · 0 评论 -
解决windows平台pycharm中pyspark运行出现乱码问题
问题如图:解决方法:global encoding改为gbk原创 2019-06-06 16:37:24 · 2315 阅读 · 0 评论 -
pyspark环境的配置
这两天配置pycharm中的pyspark环境简直难受,在做测试的时候写出文件时一直报错py4j.protocol.Py4JJavaError: An error occurred while calli.....然后各种网上搜索问题还是没有解决,遂决定从头配置spark环境,根据这个博主的指导配置,添加spark、hadoop的环境变量,最终问题解决,ps:配置完如果pycharm运行还出错...原创 2019-04-15 14:14:08 · 878 阅读 · 0 评论 -
pyspark注意事项
PYSPARK Caused by: java.io.IOException: CreateProcess error=5, 拒绝访问。或者error=2添加 PYSPARK_PYTHON C:\WP\software\Anaconda\envs\Python3.5\python.exe 路径与 python interpreter对应SPARK_HOME D:\spark-1.6.0-bin...原创 2019-04-08 11:12:02 · 464 阅读 · 0 评论 -
spark入门之scala学习笔记
之前的基本语法包括循环什么的就不写了,直接从定义函数开始。一、定义函数scala中定义函数需要定义函数的名字、参数和函数体。第一个示例函数:def sayHello(name:String,age:Int) = { if (age >= 18) {printf("hi, $s,u r bitch!!!\n",name);age} else { printf("...原创 2019-01-30 15:42:44 · 285 阅读 · 0 评论 -
spark学习
首先认识spark,不严格的讲,spark是用来替代Hadoop架构中计算框架的,主要是用来优化替代mapreduce和hive中的部分功能spark来替代hive的查询引擎站在集群资源的角度:(yarn)Resource manager是主,Node manger是从站在程序的角度:Driver是主,Executor是从driver包含dag...原创 2019-01-10 17:47:03 · 206 阅读 · 0 评论