- 博客(9)
- 收藏
- 关注
RSS订阅原创 CDH集群安装mmlspark问题分析处理
1、概述MMLSpark ，即 Microsoft Machine Learning for Apache Spark，是微软开源的一个针对 Apache Spark 的深度学习和数据可学工具，为大型映像和文本数据库快速创建强大、可缩放性能优越的预测和分析模型。2、下载安装包按照官方示例的spark package安装方式进行安装使用：spark-shell --packages com.microsoft.ml.spark:mmlspark_2.11:1.0.0-rc1pyspark --pac
2020-07-31 11:50:55
917
原创 phpLDAPadmin安装及配置使用
前言前面安装完OpenLDAP后，大部分用户/用户组管理操作都是通过命令行方式，操作复杂且容易出错，所以在本文中引入LDAP管理工具的安装使用说明。常见的LDAP管理工具有：phpLDAPadmin和LDAP Admin Tool，后者是客户端工具，使用到期后需购买或者破解，笔者尝试使用一段时间发现该工具在Mac上很容易崩溃，所以在此推荐phpLDAPadmin，它是基于php开发的一个web平台，有部署过程，但维护相对简单，唯一的遗憾就是此项目只维护到2012年，所以存在较大的兼容性问题。运行环境
2020-07-30 09:57:10
11194
原创 OpenLDAP安装与配置使用
1、 OpenLDAP安装与配置在集群中选择一台服务器作为OpenLDAP的Server1.1 执行如下命令安装OpenLDAP服务# yum -y install openldap-clients openldap-devel openldap-servers migrationtools sssd authconfig nss-pam-ldapd1.2 初始化OpenLDAP服务的配置文件# cp /usr/share/openldap-servers/slapd.conf.obsolet
2020-07-29 19:55:33
1511
原创 CDH通过api进行服务实例级别操作
前言在日常的CDH集群管理工作中，大部分管理人员都是通过登录ClouderaManager进行操作，通常这种操作方式并无大问题，但若是某个时刻出现异常，而管理人员又不方便登录ClouderaManager，那故障就会持续一段时间，严重的会影响业务。实际上，ClouderaManager本身已提供相对丰富的API，管理人员可根据API对CDH服务进行不同方式的操作，下文中将呈现如何调用cm_api...
2019-07-23 11:19:44
2114
原创 spark-RDD学习
一、RDD创建 1、从集合中创建 1）parallelize def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T] 从一个Seq集合创建RDD。 参数1：Seq集合，必须。 参数
2017-10-12 16:10:04
501
原创 python ssl相关问题说明
上了CPU实时监控python脚本后，执行时出现send信息失败[root@hadoop153 home]# python tt.py hostName:hadoop153, time:09-06 10:32:01 value:6.277/usr/lib/python2.6/site-packages/requests/packages/urllib3/util/ssl_.py
2017-10-12 16:06:59
2189
原创 parted分区工具使用
分区大于2T： yum install parted parted -a optimal /dev/sdb 在里面的交互界面中操作： mklabel gpt print mkpart primary 2048s 100% #创建新分区 print mkfs.ext4 /dev/sdb1 #将分
2017-10-12 16:05:03
1577
原创 spark-on-yarn作业提交缓慢优化
spark on yanr方式运行计算作业，发现作业提交缓慢根据日志，提交缓慢主要在两个过程：一、uploading file太慢17/05/09 10:13:28 INFO yarn.Client: Uploading resource file:/opt/cloudera/parcels/spark-1.6.3-bin-hadoop2.6/lib/spark-assembl
2017-09-30 14:11:55
2832
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人