![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
为什么每天的风都这么大
计算机学渣
展开
-
Hadoop3.1.1+Ubuntu18.04虚拟机三种部署方式
一.安装虚拟机:在3台电脑中或者3个虚拟机中安装Ubuntu系统,并测试三台电脑能互相ping通二.安装Java:1. 在3台Ubuntu电脑中安装Oracle Java 8(由于Hadoop对高版本jdk支持不好,所以若jdk版本大于8,卸载后重新安装。卸载 指令:移除所有 Java相关包 (Sun, Oracle, OpenJDK, IcedTea plugins, GI...原创 2018-10-26 22:07:48 · 1178 阅读 · 0 评论 -
Spark 2.3+Ubuntu18简单安装过程
安装Scala:到官网下载最新版本的scala 2.12.7,并拷贝至虚拟机中https://www.scala-lang.org/download/解压sudo mkdir /usr/lib/scalasudo tar -xzvf scala-2.12.7.tgz -C /usr/lib/scala添加到系统变量中sudo gedit ~/.bashrcexport S...原创 2018-10-26 22:14:24 · 603 阅读 · 0 评论 -
Spark+Python函数总结
Spark+Python函数总结整理自:https://www.cnblogs.com/yangzhang-home/p/6058076.htmlhttps://blog.csdn.net/nanruoanhao/article/details/497385210. parallelize()通过调用SparkContext的parallelize方法,在一个已经存在的集合上创建的(...转载 2018-11-08 20:44:01 · 1763 阅读 · 0 评论 -
Spark + Python入门
Spark + Python实践入门整理自:https://www.cnblogs.com/yangzhang-home/p/6056133.htmlhttp://spark.apache.org/docs/latest/quick-start.html更新日期: 20181107Spark版本:2.3.2配置好spark以及环境变量后在终端中输入pyspark即可运行,spar...转载 2018-11-08 20:45:23 · 221 阅读 · 0 评论 -
Matplot学习总结
数据可视化库Matplotlib学习总结更新日期:20181109安装#需要先安装numpypip install numpypip install matplotlib如果下载速度慢可以参考:https://blog.csdn.net/m0_37340681/article/details/84109320官网https://matplotlib.org/users...原创 2018-11-21 16:52:44 · 364 阅读 · 1 评论