程裕强的专栏

大数据学习笔记(1.01^365=37.78,0.99^365=0.025)

Kafka原理框架汇总

Kafka拓扑结构 1.producer:   消息生产者,发布消息到 kafka 集群的终端或服务。 2.broker:   kafka 集群中包含的服务器。 3.topic:   每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。 4.pa...

2018-01-24 15:08:39

阅读数 377

评论数 0

Flume框架原理

Flume的架构主要有一下几个核心概念: Event:一个数据单元,带有一个可选的消息头 Flow:Event从源点到达目的点的迁移的抽象 Client:操作位于源点处的Event,将其发送到Flume Agent Agent:一个独立的Flume进程,包含组件Source、Channel...

2018-01-24 14:37:50

阅读数 279

评论数 0

Ansible常用模块介绍

1、 ansible-doc希望知道更加详细的module的信息,最好的方法是使用ansible自带的ansible-doc的-s选项[root@node1 ~]# ansible-doc -s raw - name: Executes a low-down and dirty SSH comma...

2017-11-03 09:01:13

阅读数 1464

评论数 0

Service Unavailable (HTTP 503)和Unable to connect to WSGI daemon process 'keystone-admin' on '/run/ht

1、遇到问题[root@master ~]# openstack service create --name keystone --description "OpenStack Identity" identity Service Unavailable (HTTP 503)...

2017-11-01 15:18:48

阅读数 615

评论数 0

Kafka基本架构介绍

1、什么是消息系统?消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点,另一种是发布 - 订阅(pub-sub)...

2017-10-29 11:20:29

阅读数 4323

评论数 0

Kafka详细教程:下载、安装、配置与集群部署

[root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz --2017-10-28 09:16:07-- http://mirror.bit.edu.cn/apache/...

2017-10-28 21:52:56

阅读数 577

评论数 0

CentOS 7 平台下Redis 4.0下载与安装全纪录

1、下载下载地址:http://redis.io/download 当前最新稳定版是4.0,下载链接是http://download.redis.io/releases/redis-4.0.2.tar.gz[root@node3 ~]# wget http://download.redis.io...

2017-10-28 21:09:09

阅读数 1397

评论数 0

HBase启动警告:Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was remo

问题描述HBase启动时,警告: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0 Java HotSpot(TM) 64-Bit Serve...

2017-04-09 19:47:43

阅读数 10012

评论数 0

单机运行Spark Shell

1 下载Spark-2.1.0-bin-hadoop2.7.tgzhttp://spark.apache.org/downloads.html 2 解压缩[root@sk1 ~]tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt3 进入spark根目录...

2017-04-08 11:53:06

阅读数 1627

评论数 0

单机运行Spark Shell遇到的一个低级错误

bin/spark-shell下载spark-2.1.0-bin-hadoop2.7.tgz,解压缩直接进入spark根目录,然后运行bin/spark-shell即可进入。 但是今天遇到了一个低级错误: java.net.BindException: Cannot assign reques...

2017-04-08 10:57:26

阅读数 16604

评论数 1

HBase 创建表已经存在,删除表又不存在的问题

1. 创建表,提示已经存在[root@node1]# hbase shell 2017-04-07 14:13:46,230 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your plat...

2017-04-07 17:28:36

阅读数 3128

评论数 0

Windows+Eclipse+Maven+HBase 1.2.4开发环境搭建

1. 在Linux集群下已经搭建了Zookeeper+Hadoop+HBase hostname ip 组件 node0 192.168.1.160 zookeeper,namenode,NodeManager,HMaster,HRegionServer node1 ...

2017-04-07 16:10:46

阅读数 6413

评论数 0

Hbase:PleaseHoldException: Master is initializing

问题:Hbase配置正确,但是一旦在HBase Shell中用create语句就出现问题“Master is initializing”[root@node1 ~]# hbase shell 2017-03-18 17:55:42,489 WARN [main] util.NativeCodeL...

2017-03-19 11:03:12

阅读数 2200

评论数 0

运行ambari-web源代码

参考文献: https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Code+Layout1.配置nodejs1.1 下载nodejs建议下载编译ambari时使用的版本的nodejs(v0.10.44) [root@hadron ~]...

2017-03-17 16:49:32

阅读数 3466

评论数 4

ambari-server操作与对应的源文件

设置命令:ambari-server setup源文件: apache-ambari-2.4.2-src/ambari-server/src/main/python/ambari_server/serverSetup.py1000行之后 # # 执行ambari-server setup # S...

2017-03-17 13:04:13

阅读数 2406

评论数 0

Ambari 架构设计

1 Design Goals设计目标1.1 Platform Independence(平台独立性)The system must architecturally support any hardware and operating system, e.g. RHEL, SLES, Ubuntu...

2017-03-13 13:37:33

阅读数 1266

评论数 0

Ambari-server源码分析:核心类-心跳处理agent.HeartBeatHandler

在上一篇《Ambari-server源码分析:agent-AgentResource类》 http://blog.csdn.net/chengyuqiang/article/details/61914712 的基础上,再来看两一个核心类:HeartBeatHandler。该类位于org.apac...

2017-03-13 11:26:53

阅读数 2427

评论数 4

Ambari-server源码分析:核心类agent.rest.AgentResource

AgentResource类位于org.apache.ambari.server.agent.rest包下,如下图:AgentResource类位于Ambari-Server下,它为Ambari-Agent提供API(REST API),以获取集群配置更改,以及报告在集群节点上运行的服务的节点属性...

2017-03-13 11:07:17

阅读数 773

评论数 0

Hive2:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

[root@node1 ~]# hive which: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/app/jdk1.7.0_79/bin:/opt/app/zookeeper-3.4...

2017-03-10 23:13:04

阅读数 14256

评论数 7

Ambari 常用的 REST API 介绍

Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。 并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。例1,通...

2017-03-10 13:08:07

阅读数 6143

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭