- 博客(15)
- 收藏
- 关注
RSS订阅转载 大数据IDE，调试模式屏蔽日志
//屏蔽日志//Javaimport org.apache.log4j.Level;import org.apache.log4j.Logger;Logger.getLogger("org.apache.spark").setLevel(Level.WARN); Logger.getLogger("org.eclipse.jetty.server").setLevel(Level....
2019-08-01 14:33:00
167
转载 进制转换图
0 False1 True转载于:https://www.cnblogs.com/joneshoway/p/10578247.html
2019-03-22 14:54:00
366
转载 eclipse maven编译无效
Default VM arguments行加入下面的值-Dmaven.multiModuleProjectDirectory=$MAVEN_HOMEpom 文件出现Missing artifact jdk.tools:jdk.tools:jar:1.6 报错信息dependency> <groupId>jdk.tools</groupI...
2019-03-20 10:41:00
141
转载 Docker容器学习梳理-容器时间跟宿主机时间同步
在Docker容器创建好之后，可能会发现容器时间跟宿主机时间不一致，这就需要同步它们的时间，让容器时间跟宿主机时间保持一致。如下： 1 宿主机时间 2 [root@slave-1 ~]# date 3 Fri May 12 11:20:30 CST 2017 4 5 容器时间 6 [root@slave-1 ~]# docker exec -ti 87...
2019-03-19 16:55:00
236
转载 spark运行参数设置
num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：...
2018-11-16 14:17:00
178
转载 Linux 安装Ruby详解(在线和离线安装)
很多时候我们会发现，真实的生成环境很多都没有外网，只有内网环境，这个时候我们又需要安装Ruby，则不能提供yum命令进行在线安装了，这个时候我们就需要下载安装包进行离线安装。本文主要简单介绍如果离线安装Ruby 安装之前我们简单介绍下Ruby一、Ruby简介 Ruby是一种纯粹的面向对象编程语言。它由日本的松本行弘（まつもとゆきひろ/Yukihiro Matsumoto）...
2018-10-29 17:35:00
186
转载 Redis 3.2.1集群搭建
出处：https://www.cnblogs.com/yuanermen/p/5717885.html一、概述 Redis3.0版本之后支持Cluster.1.1、redis cluster的现状 目前redis支持的cluster特性： 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot r...
2018-10-29 17:31:00
104
转载 CDH5.x配置spark错误解决
通过cloudera manager 5.x添加spark服务，在创建服务过程中，发现spark服务创建失败，可以通过控制台错误输出看到如下日志信息：+ perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/yarn-conf#g' /opt/cm-5.9.2/run...
2018-07-11 15:51:00
205
转载 Azkaban2.5.0安装
1、Azkaban安装部署azkaban-web-server-2.5.0.tar.gzazkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gz2、安装将安装文件上传到集群,最好上传到安装 spark，hive、sqoop的机器上,方便命令的执行 mkdir azk...
2018-04-18 17:13:00
124
转载 创建SSL配置- keytool导入证书错误
创建SSL配置（123456） keytool -keystore keystore -alias jetty -genkey -keyalg RSA运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:输入keystore密码：再次输入新密码:您的名字与姓氏是什么？[Unknown]：您的组织单位名称是什么？...
2018-04-18 16:32:00
342
转载 CDH-安装HUE报MYSQL缺少libmysqlclient.so.18
1 确保安装了同一版本的mysql-server, mysql-client, mysql-shared；2 如果还提示找不到libmysqlclient.so.16 ，使用下面定位so位置并建立软链接； >whereis libmysqlclient.so.16 >ldd /usr/bin/mysqldump --这个会使用那些so及路径，也包括了not found...
2018-04-13 21:45:00
533
转载 CDH 5.14 安装oozie的坑
安装时，遇到的最大的坑，就是mysql数据库驱动包的问题，将驱动包拷贝到安装oozie服务的机器上的/var/lib/oozie 目录下，即可！转载于:https://www.cnblogs.com/joneshoway/p/8824088.html...
2018-04-13 21:25:00
271
转载 centos7.4下离线安装CDH5.14
（一）安装前的规划（1）操作系统版本：centos7.4（64bit）[root@hadoop22 etc]# more /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) [root@hadoop22 installPackage]# cat /proc/version Linux...
2018-04-13 20:32:00
124
转载 hadoop误删除恢复
在平时 我们在操作hadoop命令的时候 会误删除某些文件利用 hadoop fs -rmr(目录名)删除目录时易出现误删除的操作为了防止这种情况我们需要打开回收站具体操作为：找到配置文件core-site.xml，在其中添加如下信息：<property> <name>fs.trash.interval</name>...
2018-03-29 16:03:00
288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人