hadoop
文章平均质量分 70
huanggang028
每一天,努力让梦想更近一些
展开
-
Hadoop2.4.1伪分布式安装过程记录
一、准备环境a)安装jdk[root@localhost java]# lltotal 4lrwxrwxrwx. 1 root root 11 Aug 28 02:53 jdk -> jdk1.7.0_45drwxr-xr-x. 8 uucp 143 4096 Oct 8 2013 jdk1.7.0_45b)关闭防火墙[root@localhost java]原创 2014-08-29 11:19:32 · 579 阅读 · 0 评论 -
Untangling Apache Hadoop YARN, Part 1: Cluster and YARN Basics
In this multipart series, fully explore the tangled ball of thread that is YARN.YARN (Yet Another Resource Negotiator) is the resource management layer for the Apache Hadoop ecosystem. YARN has be转载 2016-10-11 09:48:57 · 631 阅读 · 0 评论 -
Apache Kudu主节点(Master)迁移
提前修改机器上kudu账号可以登录,(/etc/passwd),之后都是以kudu执行命令 1、将每个master的记录下来 kudu fs dump uuid --fs_wal_dir=/home/data/kudu-master --fs_data_dirs=/home/data/kudu-master 2>/dev/null 2、存活的一个mas原创 2017-08-17 13:55:28 · 5508 阅读 · 1 评论 -
Apache Kudu TabletServer迁移
Kudu集群tablet server迁移1、在cloudera manager 界面上停止该节点的tablet server角色服务2、通过脚本工具removeNode.sh,从kudu集群中删除该节点的所有tablet数据,使kudu集群自动选取其他节点替换该节点的服务 脚本命令如下:sh removeNode.sh idc-10-248-5-17.ddw.原创 2017-09-15 09:33:49 · 3635 阅读 · 0 评论 -
机器学习平台一期概要设计
背景介绍随着大数据技术的日趋成熟,很多互联网企业都积累了海量的数据资产。如何利用这些数据,充分发掘其价值逐渐成为各个公司亟待解决的新难题。其中机器学习已经被业界证明是十分有用的数据分析与挖掘手段。学术界对机器学习方向的研究已经持续数十年,很多算法已比较成熟。虽然不停有新的改进,但对企业而言不是最重要的。企业级应用最大的障碍在于如何将其平台化和围绕平台化所做的原创 2017-10-18 13:53:36 · 3282 阅读 · 3 评论