2018年04月_小驴淘米666

原创 Hbase知识点总结

一.客户端存储与读取数据流程首先，存储数据的region信息是在hbase：meta（元数据表）中管理，而管理hbase:meta的region（只有一个）的位置是由zookeeper管理的。因此client查询数据的流程：1.client首先查询zookeeper中管理hbase：meta的region位置。2.找到管理hbase：meta的region后就找到了hbase:meta。 ...

2018-04-25 10:42:13 393

一.集合与数组数组（可以存储基本数据类型）是用来存现对象的一种容器，但是数组的长度固定，不适合在对象数量未知的情况下使用。集合（只能存储对象，对象类型可以不一样）的长度可变，可在多数情况下使用。二.层次关系如下图中，实线边框是实现类，折线边框是抽象类，点线边框是接口Iterator接口是java集合的顶级接口之一，collection接口继承Iteator。Iterator，所有的集合类，都实现了...

2018-04-14 13:42:49 154

转载详解Java编写并运行spark应用程序的方法

我们首先提出这样一个简单的需求：现在要分析某网站的访问日志信息，统计来自不同IP的用户访问的次数，从而通过Geo信息来获得来访用户所在国家地区分布状况。这里我拿我网站的日志记录行示例，如下所示：?123456121.205.198.92 - - [21/Feb/2014:00:00:07 +0800] "GET /archives/417.html HTTP/1.1" 200 11465 "htt...

2018-04-13 20:56:48 1505

转载 JAVA 通过 Socket 实现 TCP 编程

转载地址：https://www.cnblogs.com/alimjan/p/7708892.html简介TCP简介TCP（Transmission Control Protocol 传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。在简化的计算机网络OSI模型中，它完成第四层传输层所指定的功能，用户数据报协议（UDP，下一篇博客会实现）是同一层内...

2018-04-12 13:22:38 145

转载 Kafka和Spark Streaming Java版本集成并将数据实时写入HBase

转载地址：https://blog.csdn.net/q79969786/article/details/42793487Kafka和Spark Streaming Java版本集成并将数据实时写入HBasemvn配置pom.xml[html] view plain copy<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs...

2018-04-11 18:48:58 1846

转载 Spark Streaming 接收Kafka数据的两种方式：Receiver和Direct

转载地址：https://blog.csdn.net/u010670689/article/details/63369916Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这...

2018-04-11 18:25:35 479

转载 spark学习之IDEA打jar包

一：打包成jar1.修改代码　　 2.使用maven打包　　但是目录中有中文，会出现打包错误　　 3.第二种方式　　 4.下一步　　 5.下一步　　 6.下一步　　 7.下一步　　 8.下一步　　 9.完成　　二：在集群上运行（local模式）1.上传　　 2.运行（local模式）　　 3.运行结果　　三：集群上运行（standalone模式）1.DeoloyMode　　表示Driver...

2018-04-10 21:41:06 621

nieji3057的博客