20190828-CSDN博客

原创 Anconda+Pycharm+Tensorflow+python3.6搭建tensorflow环境

版本：（cpu）python3.6Anconda4.3tensorflow2.0.0安装过程*1.安装Anconda（查看教程）1）、下载Anaconda 3.5.2版本https://repo.continuum.io/archive/Anaconda3-5.2.0-Windows-x86_64.exe在安装过程中注意勾选加入路径到windows环境变量中。2）、安装好了后，运行Anacoda Prompt，执行conda list命令：可以看到已经安装了numpy、sympy、ju

2020-12-17 16:30:04 362

原创关于vmware下ubuntu启动进不去，显示initramfs的解决办法

参考博客：https://blog.csdn.net/zouxu634866/article/details/79576774?utm_source=blogxgwz01.输入：fsck /dev/sda12.一路y下去3.显示FILE SYSTEM WAS MODIFIED后reboot即可友情提示：用虚拟机记得随时备份，即拍照功能

2020-08-27 09:05:26 511

原创基于Docker搭建hadoop分布式+spark-standalone集群

原文链接：https://blog.csdn.net/lvxiangyu11/article/details/102767444软件：宿主机：Ubuntu18.04DockeJDKHadoopSpark一.安装基本环境1.安装Docker更新aptsudo apt-get update让apt支持httpssudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-pro

2020-05-16 12:16:56 531

原创 BigDataBench的安装设置使用教程

BidDataBench_V5.0版本:BigDataBench_V3.2.3版本（不够完整）链接：https://pan.baidu.com/s/1jLfLqbEoMKQy-y03dUQ2eA提取码：054k环境：ubuntu版本虚拟机，spark-standa模式集群，hadoop集群分布式（hdfs文件存储)使用教程1 环境准备（1）先启动Hadoop集群：cd /usr/...

2019-12-29 16:55:30 1235

原创 Hadoop分布式搭建

运行环境ubuntu18.04hadoop2.7.1jdk1.81.修改每台服务器的主机名vim /etc/hostname4台服务器的主机名分别为 Master、Slave1、Slave2、Slave3保存修改后重启服务器reboot2.修改每台服务器的hosts文件vim /etc/hosts添加以下内容[Master的ip] Master[Slave1的ip] Sla...

2019-10-29 16:08:09 362

原创 Hadoop分布式集群安装问题解决：linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决（实测有效）

1.ssh配置完成后，scp 文件到 Slave1:/usr/local/hadoop，结果出现Permission denied，出现这种情况是hadoop用户没有该目录的权限.自己的解决办法：master:进入移动文件的上一层目录中：如：/usr/local/hadoop/hadoop-2.7.1(本人文件位置)cd /usr/local/hadoopsudo chmod 777...

2019-10-28 16:46:59 3486

原创 spark集群standalone模式启动start-all.sh错误：master：permission denied

sparkstandalone集群在master上启动start-all.sh出错显示mkdir:无法创建目录/spark/logs，权限不够：解决方法：sudo chown -R 用户名 /usr/local/spark(spark或者hadoop所在目录)在master上启动spark集群：start-all.sh出现如图示问题：解决方法：将公钥也加入到master节点上：ca...

2019-10-24 21:07:41 1586

原创 Ubuntu18-SPARK集群搭建standalone模式（无hadoop）

Ubuntu18scala2.11.8spark2.3.3ubuntu18.0jdk1.8（未安装Hadoop版本）一.安装jdk:Ubuntu在/etc/profile配置完jdk每次都要source才能使用java命令（配置永久环境变量）:source /etc/profile配置是会造成上述问题，因而需要下面的操作：vim ~/.bashrc（vim未安装需要sudo ap...

2019-10-24 15:26:01 525

原创 SSH免密登录：ubuntu提示E: 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用)

搭建spark集群，ssh免密登录登录本机：ssh localhost出错显示：ssh:connect to host localhost port 22: Connection refused**解决方法：**下载ssh:sudo apt-get install openssh-server下载是显示错误：E: 无法获得锁 /var/lib/dpkg/lock-frontend - o...

2019-10-23 20:49:01 628

原创 Windows下spark2.3.3源码阅读环境搭建

1.软件环境本人系统环境是windows7,IDE 为idea2016本次编译是通过maven编译，Maven版本为3.3.9，不用SBT编译自Spark 2.2.0起，对Java 7的支持已被删除！给Maven多配置一点内存，防止编译期间OOM异常，官网推荐export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"GitJdk...

2019-09-30 11:06:50 238

原创 Spark集群搭建——SSH免密码验证登陆

spark:Standalone模式测试能否连接到本地localhost: ssh localhost1.master:安装sshsudo apt-get install openssh-server2.生成秘钥,执行命令ssh-keygen -t rsa，然后一直按回车键即可ssh-keygen -t rsa3.在保证了电脑都能连接到本地localhost后，还需要让master主...

2019-09-24 21:29:38 697

原创大数据学习中----ganglia监控spark集群

配置：ubuntu18.04，spark2.3.3-bin-hadoop2.7，standalone集群（无hadoop集群）。ganglia组件介绍ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia-web。gmond :是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息如果他...

2019-08-27 20:11:11 569

qq_39124136的博客