![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
夏天会下雨
这个作者很懒,什么都没留下…
展开
-
eclipse运行spark出现找不到主类的问题
出现问题的原因是spark和Scala版本不符合我的spark是2.1.1所以项目右键选自properties改scala compiler 为scala2.11.8原创 2017-07-15 10:11:10 · 1205 阅读 · 0 评论 -
hadoop 3.1.0 50070端口无法访问
因为hadoop hdfs 新版本号的端口改了,我还以为出错了50070 改成9870了原创 2019-04-04 11:29:58 · 761 阅读 · 0 评论 -
spark编译和生成部署包
有时候下载的spark不支持一些应用需要添加一些依赖,需要对spark进行编译。比如我安装了ganglia集群,但是spark不支持要编译。前提安装好MAVEN JAVA,我的系统是ubuntustep1:官网或者GitHub上下载源码step2:解压源码step3:设置maven编译时的jvm方法区大小set MAVEN_OPTS=-Xmx2g -XX:MaxPermS...原创 2019-03-07 16:32:32 · 456 阅读 · 4 评论 -
关于Ubuntu中Could not get lock /var/lib/dpkg/lock解决方案
1、在ubuntu系统中使用命令sudo apt-get install 命令时出现错误,Could not get lock /var/lib/dpkg/lock2、原因:主要是因为apt还在运行。3、方法:删除锁定文件锁定的文件会阻止 Linux 系统中某些文件或者数据的访问,这个概念也存在于 Windows 或者其他的操作系统中。一旦你运行了 apt-get 或者 apt ...原创 2019-03-04 10:47:01 · 682 阅读 · 1 评论 -
分析Spark源码第一步——搭建源码阅读环境
为了深入理解spark,想了解一下源码,故搭建了一下源码阅读环境。我是在windows环境下进行的。step1:工具的获取我安装的软件及版本如下,搭建之前请安装好这些:(1)java1.8(2)scala 安装可参考http://www.runoob.com/scala/scala-install.html(3)maven 参考 https://www.yiibai.com...原创 2018-05-29 19:49:35 · 6332 阅读 · 3 评论 -
spark+pycharm+python(主要介绍pycharm的设置)
因为本人比较熟悉Python,所以没有用scala而且在windows下操作比较坑 后期不能基于yarn(因为windows 安装hadoop比较麻烦),故在ubuntu下运行了1,安装spark2,安装hadoop3,安装pycharm4.安装不详细说了,主要写下pycharm里面怎么配置1) 先新建一个project 2)然后选择“Run” ->“Edit Conf原创 2017-09-15 20:54:32 · 475 阅读 · 0 评论 -
ubuntu关闭和开启防火墙
1、关闭ubuntu的防火墙 ufw disable2开启防火墙 ufw enable3、卸载了iptables apt-get remove iptables4、关闭ubuntu中的防火墙的其余命令 iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT转载 2017-05-24 14:38:25 · 310 阅读 · 0 评论 -
单机模式hadoop的配置
单机模式1、 你安装 Ubuntu的时候不是用的 "hadoop"用户,那么需要增加一个名为 hadoop的用户。命令:sudo useradd -m hadoop -s /bin/bash该环境下:linux中英文的切换方式是使用键盘“shift”键来切换,复制粘贴的快捷键需要加上 shift,即粘贴是 ctrl+shift+v2、 接着使用如下命令设置密码,转载 2017-06-14 09:43:06 · 334 阅读 · 0 评论 -
看过来,需要大量数据集的人儿们~Spark基准测试平台BigDataBench
做实验在收集大量数据集的时候发现了这个——BigDataBench如果需要大量数据集and性能测试的人儿们,可以看过来,并且支持hadoop等其他框架教程主要来自这位大神~https://blog.csdn.net/qq_25745863/article/details/88743750记录一哈,除了上文提到的出现的问题,还报过这几个问题1、文件夹权限问题sudo chmod ...原创 2019-04-04 14:07:43 · 967 阅读 · 2 评论