大数据
程裕强
开源是人类最大的公益事业!--程裕强
展开
-
Ambari 2.4.2 汉化
Ambari 2.4.2 汉化1、ambari-web(1)apache-ambari-2.4.2-src/ambari-web/app/messages.js 该文件是KeyValue文件,3000多行。将Value部分翻译成中文即可,Key不要翻译。 (2)apache-ambari-2.4.2-src/ambari-web/app/assets/index.html原创 2017-02-16 09:11:21 · 4824 阅读 · 3 评论 -
Hbase:PleaseHoldException: Master is initializing
问题:Hbase配置正确,但是一旦在HBase Shell中用create语句就出现问题“Master is initializing”[root@node1 ~]# hbase shell2017-03-18 17:55:42,489 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your原创 2017-03-19 11:03:12 · 7220 阅读 · 0 评论 -
Hive2:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
[root@node1 ~]# hivewhich: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/app/jdk1.7.0_79/bin:/opt/app/zookeeper-3.4.9/bin:/opt/app/hadoop-2.7.3/bin:/opt/app/hadoop-2.7原创 2017-03-10 23:13:04 · 15130 阅读 · 7 评论 -
单机运行Spark Shell遇到的一个低级错误
bin/spark-shell下载spark-2.1.0-bin-hadoop2.7.tgz,解压缩直接进入spark根目录,然后运行bin/spark-shell即可进入。 但是今天遇到了一个低级错误: java.net.BindException: Cannot assign requested address: Service ‘sparkDriver’ failed after 16 r原创 2017-04-08 10:57:26 · 26425 阅读 · 2 评论 -
单机运行Spark Shell
1 下载Spark-2.1.0-bin-hadoop2.7.tgzhttp://spark.apache.org/downloads.html 2 解压缩[root@sk1 ~]tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt3 进入spark根目录[root@sk1 ~]# cd /opt/spark-2.1.0-bin-hadoop2.7/[ro原创 2017-04-08 11:53:06 · 2252 阅读 · 0 评论 -
HBase启动警告:Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was remo
问题描述HBase启动时,警告: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; supp原创 2017-04-09 19:47:43 · 20287 阅读 · 0 评论 -
Windows+Eclipse+Maven+HBase 1.2.4开发环境搭建
1. 在Linux集群下已经搭建了Zookeeper+Hadoop+HBase hostname ip 组件 node0 192.168.1.160 zookeeper,namenode,NodeManager,HMaster,HRegionServer node1 192.168.1.161 zookeeper,datanode,NodeManager,HRegi原创 2017-04-07 16:10:46 · 7340 阅读 · 0 评论 -
HBase 创建表已经存在,删除表又不存在的问题
1. 创建表,提示已经存在[root@node1]# hbase shell2017-04-07 14:13:46,230 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原创 2017-04-07 17:28:36 · 5319 阅读 · 0 评论 -
CentOS 7 平台下Redis 4.0下载与安装全纪录
1、下载下载地址:http://redis.io/download 当前最新稳定版是4.0,下载链接是http://download.redis.io/releases/redis-4.0.2.tar.gz[root@node3 ~]# wget http://download.redis.io/releases/redis-4.0.2.tar.gz--2017-10-28 08:06:18--原创 2017-10-28 21:09:09 · 1887 阅读 · 0 评论 -
Service Unavailable (HTTP 503)和Unable to connect to WSGI daemon process 'keystone-admin' on '/run/ht
1、遇到问题[root@master ~]# openstack service create --name keystone --description "OpenStack Identity" identityService Unavailable (HTTP 503)[root@master ~]#[root@master keystone]# openstack service lis原创 2017-11-01 15:18:48 · 1521 阅读 · 0 评论 -
Ansible常用模块介绍
1、 ansible-doc希望知道更加详细的module的信息,最好的方法是使用ansible自带的ansible-doc的-s选项[root@node1 ~]# ansible-doc -s raw- name: Executes a low-down and dirty SSH command action: raw executable # chan原创 2017-11-03 09:01:13 · 2774 阅读 · 0 评论 -
Kafka基本架构介绍
1、什么是消息系统?消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点,另一种是发布 - 订阅(pub-sub)消息系统。 大多数消息模式遵循 pub-sub 。(1)点对点消息系统 在点对点系统中,消息被保留在队原创 2017-10-29 11:20:29 · 8270 阅读 · 1 评论 -
Flume框架原理
Flume的架构主要有一下几个核心概念:Event:一个数据单元,带有一个可选的消息头 Flow:Event从源点到达目的点的迁移的抽象 Client:操作位于源点处的Event,将其发送到Flume Agent Agent:一个独立的Flume进程,包含组件Source、Channel、Sink Source:用来消费传递到该组件的Event Channel:中转Event的一个临转载 2018-01-24 14:37:50 · 821 阅读 · 0 评论 -
问题记录:NameNode is still loading. Redirecting to the Startup Progress page.
集群启动正常,日志没有报错,但是http://192.168.11.81:50070/ 一直提示“NameNode is still loading. Redirecting to the Startup Progress page.”有人说是“hadoop刚刚启动时,会进入安全模式进行自检,自检完毕就好了”,但是进群运行了很长时间还是这个状态。暂时不知道原因,问题先记录一下。原创 2017-03-08 18:19:54 · 7546 阅读 · 6 评论 -
Ambari2.4 源码编译
编译Ambari第一步:Ambari编译前环境准备 1. JDK2.安装Maven原创 2016-12-21 17:55:14 · 7808 阅读 · 8 评论 -
JDBC访问SparkSQL
package dao;import java.sql.*;/** * Created by root on 17-1-10. */public class HiveServer2Dao { /** * 获取链接 * @return */ private static Connection getConn() { Str原创 2017-01-22 10:56:49 · 1655 阅读 · 0 评论 -
HDFS Java API
HDFS Java API官网 http://hadoop.apache.org/docs/r2.7.3/api/index.html1.读取HDFS文件package test;import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Co原创 2017-03-03 13:15:21 · 4199 阅读 · 0 评论 -
Ubuntu设置SSH免密登录(不同于CentOS)
Ubuntu设置SSH免密登录(不同于CentOS)1.遇到的坑之前一直在CentOS系统进行Hadoop开发,SSH免密登录配置过N次,今天在Ubuntu平台下设置免密登录遇到了坑:kylin@uk0:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsaGenerating public/private dsa key pair.Created directo原创 2017-03-03 16:56:28 · 5296 阅读 · 1 评论 -
运行ambari-web源代码
参考文献: https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Code+Layout1.配置nodejs1.1 下载nodejs建议下载编译ambari时使用的版本的nodejs(v0.10.44) [root@hadron ~]wget https://nodejs.org/download/release/v0.10.44/no原创 2017-03-17 16:49:32 · 5038 阅读 · 5 评论 -
ambari-server操作与对应的源文件
设置命令:ambari-server setup源文件: apache-ambari-2.4.2-src/ambari-server/src/main/python/ambari_server/serverSetup.py1000行之后## 执行ambari-server setup# Setup the Ambari Server.#def setup(options): if原创 2017-03-17 13:04:13 · 3440 阅读 · 0 评论 -
Ambari-server源码分析:核心类-心跳处理agent.HeartBeatHandler
在上一篇《Ambari-server源码分析:agent-AgentResource类》 http://blog.csdn.net/chengyuqiang/article/details/61914712 的基础上,再来看两一个核心类:HeartBeatHandler。该类位于org.apache.ambari.server.agent包下,如下图。 HeartBeatHandler处理来自A原创 2017-03-13 11:26:53 · 4023 阅读 · 4 评论 -
Ambari-server源码分析:核心类agent.rest.AgentResource
AgentResource类位于org.apache.ambari.server.agent.rest包下,如下图:AgentResource类位于Ambari-Server下,它为Ambari-Agent提供API(REST API),以获取集群配置更改,以及报告在集群节点上运行的服务的节点属性和状态。源代码如下(添加了部分注释)package org.apache.ambari.server.a原创 2017-03-13 11:07:17 · 1287 阅读 · 0 评论 -
Ambari 常用的 REST API 介绍
Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。 并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。例1,通过 API 卸载已安装的 Service目前 Ambari 不支持在 GUI 上面卸载已安装的 Serv原创 2017-03-10 13:08:07 · 12970 阅读 · 1 评论 -
Ambari架构源码解析
1.Ambari介绍Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。1.1 基本概念参考http://blog.csdn.net/j2eelamp/article/details/25416943 1. Resource:Ambari把可以被管理原创 2017-03-09 17:11:57 · 17375 阅读 · 4 评论 -
Ubuntu平台下源码编译Ambari 2.4
Ubuntu/UbuntuKylin平台下源码编译Ambari 2.41、Ubuntu环境配置1.1 网络配置kylin@Ubuntu:~$ sudo vim /etc/network/interfaces\# interfaces(5) file used by ifup(8) and ifdown(8)auto ens32iface ens32 inet staticaddress 19原创 2017-03-01 15:57:15 · 3471 阅读 · 3 评论 -
Ambari安装与集群配置
Ambari安装与集群配置原创 2017-01-03 18:53:45 · 6385 阅读 · 2 评论 -
Kafka原理框架汇总
Kafka拓扑结构1.producer: 消息生产者,发布消息到 kafka 集群的终端或服务。 2.broker: kafka 集群中包含的服务器。 3.topic: 每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。 4.partition: partition 是物理上的概念,每个 topic 包含一个或多个 part...转载 2018-01-24 15:08:39 · 824 阅读 · 0 评论