2016年07月_立喆

原创 Spark snappy

Spark Snappy 问题In my experience, if you cd into the /sparkDir/conf and rename the spark-env.sh.template to spark-env.sh, and then set the JAVA_OPTSand hadoop_DIR, it works.You will also have to edit th

2016-07-22 11:57:16 1550

原创 HDFS权限问题

HDFS支持权限控制，但支持较弱。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命令修改文件的权限、文件所有者，文件所属组： hadoop fs –chmod （修改文件所有者，文件所属组，其他用户的读、写、执行权限） haddop fs –chown （修改文件所有者） hadoop fs –chgrp

2016-07-19 14:56:39 1925

转载 Kafka - SQL 引擎分享

问题导读： 1.在Kafka中使用SQL的流程是什么？ 2.怎样配置Kafka，使得在Kafka中使用SQL？ 3.在Kafka中使用SQL有哪些注意事项？ 1.概述　　大多数情况下，我们使用 Kafka 只是作为消息处理。在有些情况下，我们需要多次读取 Kafka 集群中的数据。当然，我们可以通过调用 Kafka 的 API 来完成，但是针对不同的业务需求

2016-07-15 15:05:52 1358

转载区块链技术原理

区块链技术原理我尽量不涉及太多细节，把区块链大概的工作原理用尽可能简单的语言描述一下，相信你能很快对区块链有所了解。以比特币的区块链为例，你可以把区块链想象成一个比特币的公共账本，这个账本： 1.存放在互联网的各个比特币节点上，每个节点都有一份完整的备份 2.里面记录着自比特币诞生以来的所有比特币转账交易 3.账本是分区块存储的，每一块包含一部分交易记录。每一个区块都会记录着前一

2016-07-15 14:59:42 2563

转载 Lambda架构实现数据实时更新

当前股票市场的交易者可以了解丰富的股票交易信息。从金融新闻到传统的报纸和杂志再到博客和社交媒体，汇聚着海量的数据，远比股票交易者想关注的股票信息要大得多，这就需要为股票交易者提供信息的有效过滤。这里将开发一个新闻服务给股票证券投资交易者使用，并为股票交易者提供个性化新闻。这个新闻服务就叫“自动获取金融新闻”，输入各个数据源的金融新闻，也同时输入用户实时股票交易信息。不管何时，在股票交易者所

2016-07-15 14:52:50 891

原创 datanode节点下线/删除/退役 Decommission Datanode

节点退役 Decommission DatanodeDecommission Datanode就是把Datanode从HDFS集群中移除掉。 Datanode是存储实际数据的，因此在Decommission Datanode的时候需要把Datanode上的数据迁移到别的机器上。下线的时候Datanode会有以下操作，1：计算块信息 2：删除块 3：copy块 4：校验块信息操作步骤 1：在Nam

2016-07-12 11:18:49 8044

原创 Hadoop2.6.0 Snappy 压缩安装与配置

先说点题外话，我们集群主要使用hive,Impala,spark sql等来处理数据，介于hdfs里面的数据没有压缩占用空间太大所以我们要对其进行压缩snappy比较适中 snappy 原生被hive等支持首先看一下你的集群是否支持/安装了snappyhadoop checknative -a6/07/08 14:20:48 INFO bzip2.Bzip2Factory: Successfull

2016-07-08 14:28:19 3558

leone911的博客