![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
AthenaHe
一步一个脚印
展开
-
大数据基准测试平台BigDataBench5.0安装配置及使用
bigDataBench5.0(2019.6月发布) 前提:安装hadoop、jdk、g++、gcc、gsl 1. 首先就是下载BigDataBench安装包 http://125.39.136.212:8090/BigDataBench/BigDataBench_V5.0_BigData_MicroBenchmark http://125.39.136.212:8090/BigDataBench...原创 2019-11-11 20:04:03 · 2108 阅读 · 2 评论 -
Hadoop配置出现的问题
Hadoop namenode –format 出现问题 Hadoop namenode –format后,出现错误:未知的名称或服务 解决办法: sudo vi /etc/hosts 修改 为 127.0.0.1 localhost 你的主机名 我的主机名是hh,就在127.0.0.1的那行后面再加一个hh ...原创 2019-02-03 23:57:18 · 2662 阅读 · 0 评论 -
一步步教学Hadoop完全分布式部署
在Mac电脑下利用parallel desktop 创建4台虚拟机master、data1、data2、data3进行hadoop完全分布式的安装以及环境配置 我的主机系统是macOS,虚拟机的系统是CentOS. (可以先配置伪分布式Hadoop试一试,然后再在这个基础上部署完全分布式Hadoop) 一、把single Node cluster 复制到data1 1,克隆主机data1 右击主机...原创 2019-02-28 13:40:33 · 545 阅读 · 0 评论 -
zookeeper完全分布式部署
zookeeper完全分布式部署 1. 首先,下载zookeeper压缩包。http://mirrors.shu.edu.cn/apache/zookeeper/ 官方建议下载stable版本的,就下载stable里的比较稳定。我目前下的是3.4.13的。 安装前准备环境:安装jdk 2. 将zookeeper-3.4.13.tar.gz拷贝到linux下并解压。 将zookeeper安装路径...原创 2019-03-24 09:06:03 · 386 阅读 · 0 评论 -
hive操作错误总结
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.HiveException: Unable to move source file: 解决: 退出hive,关闭namenode和datanode,删除namenode的...原创 2019-03-31 18:30:54 · 1154 阅读 · 0 评论 -
设置Spark运行程序时不显示log信息
在IDEA中设置不要显示spark的log信息 需要导入的包: import org.apache.log4j.Logger import org.apache.log4j.Level 第一种方式:在main函数中设置 def main(args:Array[String]):Unit={ Logger.getLogger("org").setLevel(Level.OFF) System....原创 2019-09-01 17:53:45 · 1935 阅读 · 0 评论