- 博客(10)
- 收藏
- 关注
RSS订阅原创 Ganglia数据流监控指南
ganglia是一个数据流监控工具，可以实现对计算机使用状况的监视，也可以显示其他数据监控工具的数据流量情况，例如配合flume使用。本文主要对ganglia的配置做一个详细的介绍，因为网上针对ganglia出现问题的解决方案很多都有问题，这里做一个综合：1，安装httpd和php（需要安装php-xml）yum -y install httpd phpyum install php-xml2，安装依赖（如果提示找不到依赖，去网站下载对应版本rpm包并安装）yum -y install .
2020-08-23 13:44:32
375
原创 hadoop-3.3.0+mysql-8.0+hive-3.1.2+java-8搭建数仓踩坑记录（含优化）
本文验证了hadoop3.3.0整合hive3.1.2在java8环境下是可行的，而在高于8的jdk版本中是不可行的，由于笔者一直使用java14作为开发环境，所以在安装时踩了很多坑，但是也收获颇丰。写这篇文章的目的是让大家在安装的过程中少走弯路，同时也把我在踩坑过程中的发现分享给大家。安装过程所有的tar包均为Apache官网下载，关于安装hadoop，可以参考我的另一篇文章：centos8+java14+hadoop-3.3.0搭建hadoop集群（全网最新）但是这里必须强调的是：必须使用j.
2020-08-21 01:22:31
1116
原创 org.apache.hadoop.yarn.exceptions.YarnException: Failed to initialize queues
在配置yarn-HA高可用集群后，执行yarn-start.sh，发现nodemanager启动成功，而resourcemanager却没有启动，于是：检查logs：tail -n 100 hadoop-root-resourcemanager-hadoop01.log发现resourcemanager启动过程中出现这样的报错：org.apache.hadoop.service.ServiceStateException: org.apache.hadoop.yarn.exceptions.Yar
2020-08-16 13:06:40
3515
原创 ERROR: but there is no HDFS_JOURNALNODE_USER defined. Aborting operation.
[root@hadoop01 etc]# stop-dfs.shWARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.Stopping namenodes on [hadoop01 hadoop02 hadoop03]Stopping datanodesStopping journal nodes [hadoop03 had
2020-08-16 09:47:04
2247
1
原创 centos8+java14+hadoop-3.3.0搭建hadoop集群（全网最新）
最近在学hadoop集群的搭建，网上常见的教程是基于centos7.5，java8，和hadoop2搭建的，由于笔者比较喜欢新技术，这里就作死使用最新的环境进行搭建，希望大家能提出意见一起进步。基础配置：3台安装完环境的centos8虚拟服务器。包括java14，mysql8.0，hadoop-3.3.0。基础环境的搭建过于简单，笔者用的是官方的压缩包，这里不再赘述（但是要注意$PATH环境的配置）笔者所用的包：drwxr-xr-x. 14 1001 1001 266 8月 4 08:
2020-08-04 13:38:45
1750
原创 创建线程的四种常见方式
本文介绍创建线程常见的四种方式，使用了匿名内部类以使代码尽量简洁。import org.junit.Test;import java.util.concurrent.*;public class ThreadTest { /** * 继承Thread类 */ @Test public void test01() { new Thread() { @Override public void ru
2020-07-25 01:00:55
1786
原创 行为设计模式之观察者模式
23种设计模式：本文通过案例实现观察者模式，并顺便复习了一下线程安全的懒汉式单例模式。package thread.exe0201;import java.util.ArrayList;import java.util.List;/** * 2 编写程序，在main方法中创建两个线程。线程1每隔一定时间（200ms以内的随机时间）产生一个0-100之间的随机整数，打印后将该整数放到集合中； * 共产生100个整数，全部产生后，睡眠30秒； * 在线程2中，唤醒上述睡眠的线程1，并获.
2020-07-22 23:21:25
1549
原创 Ubuntu18.04修改Python默认版本2.7->3.6
这里需要更改Python默认版本，否则Ubuntu默认版本为Python2.7，pip下载TensorFlow-gpu时无法与Python3.6.8匹配查看你的系统中都有那些 Python 的二进制文件可供使用root@sunqi-virtual-machine:/home/sunqi# ls /usr/bin/python*/usr/bin/python /usr/b...
2019-09-04 22:36:17
5089
原创 ubuntu18.04下pytorch的安装及测试
nvidia驱动，cuda，cudnn部分的下载安装参考我的另一篇文章Ubuntu 18.04 + Python3.6 + CUDA-10.0 + CUDNN-7.5.0 + tensorflow-gpu-1.13.1anaconda3的下载安装参考ubuntu安装集成开发环境anaconda3本篇主要记录pytorch的安装配置方法1：anaconda安装使用清华大学镜像源提升下载速...
2019-09-03 15:15:04
11037
2
原创 Ubuntu 18.04 + Python3.6 + CUDA-10.0 + CUDNN-7.5.0 + tensorflow-gpu-1.13.1
Install nvidia driver添加图形驱动程序到源列表: sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt upgrade检查将安装什么驱动程序:ubuntu-drivers devices注意！！！虚拟机无法安装NVIDIA显卡驱动程序，虚拟机中只有虚...
2019-08-26 23:41:32
4521
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人