关注
分享
Russell_Liu
刘梦浩，毕业于西北工业大学航空学院。专业航空方向的电子信息。因不喜国企风格，改行做程序员。毕业后入职苏州华硕科技，从事Java web开发。自学一年，顺利转入互联网公司。目前就职于杭州有赞科技。
微信号：as82984895ok
QQ号：727769385
展开
-
[Java大数据入门]开篇
文章目录1、为什么会写这个分类2、涉及的技术栈3、依赖的环境 新建了一个Java大数据入口的分类，准备在这个分类下写一些文章。如果说这个分类是一个github仓库，那么这篇文章就是READEME 1、为什么会写这个分类 从分类的名字可以看出，这个系列是大数据相关的。因为目前在公司负责的项目是大数据相关的，从入职到现在也一直在自学相关的知识，有一些心得，希望记录下来分享给大家。 需要注意的是，在写这...原创 2019-02-16 15:38:26 · 205 阅读 · 0 评论 -
[Java大数据入门]Hbase伪分布式环境安装与配置
文章目录一、Hbase基本概念二、安装Hadoop三、Hbase下载与安装四、Hbase伪分布式配置五、启动Hbase六、总结 一、Hbase基本概念 Hbase官网 二、安装Hadoop Hbase是Database on Hadoop，因此在安装Hbase之前，需要安装Hadoop，安装方式可以参考我的另一篇文章：Hadoop伪分布式安装与配置 三、Hbase下载与安装 版本：1.2.0-c...原创 2019-03-02 23:52:36 · 304 阅读 · 0 评论 -
[Java大数据入门]Hadoop伪分布式安装与配置
Hadoop是由Apache基金会所开发的分布式系统基础架构。它的核心概念主要有两个： HDFS分布式文件系统，为海量数据提供存储 MapReduce计算框架，为海量数据提供了计算途径 现在Hadoop已经成为了一种生态，并且其底层的HDFS为许多数据库的底层实现，例如Hbase，就是DataBase on Hadoop，也就是基于Hadoop的数据库。由于后面数据的存储需要使用Hbase以及...原创 2019-03-02 23:26:36 · 193 阅读 · 0 评论 -
[Java大数据入门]Kafka编程示例-Consumer
在上一篇文章中Kafka编程示例-Producer实现了1.0版本的kafka 生产者的示例代码。相对于Producer而言，Consumer的代码实现会更复杂一些，因为这里面会涉及到启动多个线程去消费kafka。本文就尝试实现一个单consumer多线程消费多个分区的消费者示例代码 强烈建议大家先阅读下这篇博文:Kafka Consumer多线程实例，本文就是参考这篇文章而成。 源代码地址 一、...原创 2019-03-02 19:48:48 · 466 阅读 · 0 评论 -
[Java大数据入门]Kafka编程示例-Producer
Kafka0.9版本以后关于producer和consumer的实现跟0.8版本相比有了很大的不同，目前网上关于新版的生产者和消费者的示例代码很少，因此想要实现在生产中可以使用的producer和consumer代码。本文会主要实现producer相关的代码，下一篇文章会实现多线程的consumer代码 在阅读本文之前，强烈建议先阅读以下一篇博文，将新版kafka producer的原理讲解的很透...原创 2019-03-02 19:00:12 · 447 阅读 · 0 评论 -
[Java大数据入门]文章概览
以下是我对整个系列文章的规划，后期可能会随着情况改动，我也会在这里及时更新： 1、Jdk+Maven+Git环境搭建 2、Zookeeper环境搭建 3、Kafka相关 3.1、Kafka环境搭建 3.2、Kafka基础概念 3.3、Kafka 生产者编程示例 3.4、Kafka 消费者编程示例 4、Hadoop环境搭建 5、Hbase相关 5.1、Hbase环境搭建 5.2、Hbase基...原创 2019-03-02 23:30:08 · 212 阅读 · 0 评论 -
[Java大数据入门]kafka基本概念
文章目录kafka基本概念1、broker2、topic3、partiton4、consumer group5、consumer6、message kafka基本概念 1、broker 消息中间件处理节点。一个kafka节点就是一个broker，与机器节点无关。如果一台机器上部署一台kafka节点，那么该机器就只有一个broker，当然一台机器也可以部署多个kafka节点，也就会有多个broker...原创 2019-02-22 00:44:00 · 198 阅读 · 0 评论 -
[Java大数据入门]Kafka环境搭建
文章目录一、Kafka介绍二、Kafka安装三、Kafka常见shell命令四、Kafka管理UI部署五、总结 一、Kafka介绍 Kafka官网 二、Kafka安装 版本： 1.0.0 安装包： kafka_2.12-1.0.0.tgz 关于安装包的说明： 2.12代表此安装包是使用2.12版本的scala编译的，并不代表kafka的版本 1.0.0代表kafka的版本 使用1.0.0版本是因...原创 2019-02-22 02:03:29 · 654 阅读 · 0 评论 -
[Java大数据入门]前期的准备和说明
文章目录一、各种安装包二、项目安装规范三、项目的简要介绍 一、各种安装包 在自学的过程中，一个比较痛苦的事情就是在网上找各种安装包。这个过程会浪费我们很多时间，更恶心的就是我们花费一些时间下载了安装包，最后却发现不可用。因此在我学习大数据的时候将自己用到的安装包全部保存在了百度云里。在这个教程之前，先分享给大家。 安装包地址 密码：3ywi 这里我将各种安装包进行说明： 项目 版本 说明 ...原创 2019-02-16 18:31:48 · 284 阅读 · 0 评论 -
[Java大数据入门]zookeeper环境搭建
文章目录一、ZK介绍二、ZK安装（单机）三、ZK配置四、WebUI安装五、总结 一、ZK介绍 zookeeper官网 二、ZK安装（单机） 版本:3.4.5 安装包:zookeeper-3.4.5-cdh5.7.0.tar.gz 解压缩： ## 将zk解压到指定目录 tar -zxf ~/bigData/zookeeper-3.4.5-cdh5.7.0 -C ~/bigData/ ## 在/op...原创 2019-02-16 17:13:49 · 219 阅读 · 0 评论 -
[Java大数据入门]Hbase Java编程客户端
文章目录一、添加pom依赖二、Hbase Java客户端代码三、测试四、总结 前文已经搭建好Hadoop和Hbase的伪分布式环境，现在我们就使用Hbase Java客户端来编写Hbase的增删改查示例代码 一、添加pom依赖 我们使用的Hbase版本为1.2.0-cdh5.7.0，使用1.3.0版本的客户端，在pom文件中添加如下文件即可 <dependency> <g...原创 2019-03-06 22:19:54 · 582 阅读 · 0 评论