2018年07月_小驴淘米666

转载手把手教你系列 - RN如何实现一个ExpandableList(可展开列表)组件

看到一篇功能强大的博文转载下来慢慢品味转载地址：https://blog.csdn.net/u013588817/article/details/78369331?locationNum=8&fps=1前言今天想跟大家分享一个用RN实现的组件 - ExpandableList。恩，没什么特殊的原因，只是因为最近有一个需求要用到这东西，而且RN没有提供现成的组件，所以很(不)开(...

2018-07-24 08:45:21 688

转载 java8下spark-streaming结合kafka编程（spark 2.0 & kafka 0.10）

前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。1.相关组件版本首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录下，另外仍然没有使用scala,使用java8,spark 2.0.0,kafka 0.10。2.引入maven包网上找了一些结合的例子，但是跟我当前版本不一样，所以根本就成功不了，所...

2018-07-23 09:15:51 1071 1

转载 spark createDirectStream保存kafka offset(JAVA实现)

问题描述原文地址：http://blog.csdn.net/xueba207/article/details/50381821最近使用Spark streaming处理kafka的数据，业务数据量比较大，就使用了KafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，并且没有receiver，是sp...

2018-07-23 08:00:51 704

转载 Spark Streaming 管理 Kafka Offsets 的方式探讨

转自：https://www.jianshu.com/p/ef3f15cf400d Cloudera Engineering Blog 翻译：Offset Management For Apache Kafka With Apache Spark StreamingSpark Streaming 应用从Kafka中获取信息是一种常见的场景。从Kafka中读取持续不断的数据将有很多优势，...

2018-07-22 20:13:45 304

转载 KAFKA OFFSET的存储问题

注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某个消费者指定了一个消费者组名称（group.id），那么，一旦这个消费者启动，这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上 1.概述Kafka版本[0.10.1.1]，已默认将消费的 offse...

2018-07-22 19:24:30 655

转载 Spark Streaming基于kafka的Direct详解

本博文主要包括一下内容： 1，SparkStreaming on Kafka Direct工作原理机制 2，SparkStreaming on Kafka Direct 案例实战 3，SparkStreaming on Kafka Direct源码解析一：SparkStreaming on Kafka Direct工作原理机制：1、Direct方式特点：（1）Direct的方式是...

2018-07-22 14:48:06 2209

原创 CDH 5.3.3离线安装

三台服务器构成的小集群离线部署CDH5.3.3下载离线包：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gzhttp://archive.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel...

2018-07-21 10:47:59 796

原创 Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x

yarn 启动异常：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x...

2018-07-21 10:34:32 2406

原创 Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

HbaseMaster无法启动先检查hdfs下是不是有/hbase ,如果没有先新建/hbase,新建后更改权限1.hdfs dfs -ls /2.hdfs dfs -mkdir /hbase3.hdfs dfs -chmod 777 /hbase4.重启Hbase...

2018-07-21 10:30:51 2090

原创 org.apache.hadoop.hbase.TableExistsException: hbase:namespace

原因是由于hdfs的重新建立/hbase文件夹后zookeeper还保留着上一次的Hbase设置，所以造成了冲突因此进入zookeeper删除hbase文件使用zookeeper-client进入zookeeper shell，然后 ls / ,rmr /habse ,最后重启...

2018-07-21 10:26:34 1719

原创 datanode 由于和namenode版本不一致无法启动问题

报错日志：Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to bigdata1/10.5.46.201:8022. Exiting. java.io.IOException: All specified directories are failed to ...

2018-07-21 09:52:31 1263

原创 Hive Metastore 创建数据库失败

HMSHandler Fatal error: javax.jdo.JDODataStoreException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '...

2018-07-21 09:06:17 7764 1

原创 RAID 5 使用与配置

服务器DELL R370 配备4块2T磁盘采用RAID5（3块）+一块热备盘。ABC做raid5，D做热备盘，B坏了，D替代B，A和C会往D里面写数据，这期间不需要对硬盘做任何操作。写完以后，你再换掉坏盘B，阵列卡会识别到B盘，D盘将数据写入B，恢复ABC的raid5，D盘依旧为热备盘。这种策略相对安全，并且服务器存储空间是两个硬盘的容量。为什么3个硬盘的组成的RAID-5阵列大小只有2个硬盘的容...

2018-07-09 20:59:50 66377 3

nieji3057的博客