- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Arthas介绍
这篇文章为大家推荐一个为Java应用程序排查问题的非常好用的工具：Arthas，首先声明一下，这边文章并不是教大家如何使用，它只是一个搬运工，在Arthas的github上已经有非常详细的使用教程了。Arthas（阿尔萨斯）是阿里巴巴开源的Java诊断工具，深受开发者喜爱当你遇到以下类似问题而束手无策时，Arthas统统可以帮你解决某个类是从哪个jar包加载的，为什么会报各种类相关的Exc...
2019-03-09 22:37:05
1585
原创 [Java大数据入门]Hbase Java编程客户端
文章目录一、添加pom依赖二、Hbase Java客户端代码三、测试四、总结前文已经搭建好Hadoop和Hbase的伪分布式环境，现在我们就使用Hbase Java客户端来编写Hbase的增删改查示例代码一、添加pom依赖我们使用的Hbase版本为1.2.0-cdh5.7.0，使用1.3.0版本的客户端，在pom文件中添加如下文件即可<dependency> <g...
2019-03-06 22:19:54
585
原创 [Java大数据入门]Hbase伪分布式环境安装与配置
文章目录一、Hbase基本概念二、安装Hadoop三、Hbase下载与安装四、Hbase伪分布式配置五、启动Hbase六、总结一、Hbase基本概念Hbase官网二、安装HadoopHbase是Database on Hadoop，因此在安装Hbase之前，需要安装Hadoop，安装方式可以参考我的另一篇文章：Hadoop伪分布式安装与配置三、Hbase下载与安装版本：1.2.0-c...
2019-03-02 23:52:36
305
原创 [Java大数据入门]文章概览
以下是我对整个系列文章的规划，后期可能会随着情况改动，我也会在这里及时更新：1、Jdk+Maven+Git环境搭建2、Zookeeper环境搭建3、Kafka相关3.1、Kafka环境搭建3.2、Kafka基础概念3.3、Kafka 生产者编程示例3.4、Kafka 消费者编程示例4、Hadoop环境搭建5、Hbase相关5.1、Hbase环境搭建5.2、Hbase基...
2019-03-02 23:30:08
212
原创 [Java大数据入门]Hadoop伪分布式安装与配置
Hadoop是由Apache基金会所开发的分布式系统基础架构。它的核心概念主要有两个：HDFS分布式文件系统，为海量数据提供存储MapReduce计算框架，为海量数据提供了计算途径现在Hadoop已经成为了一种生态，并且其底层的HDFS为许多数据库的底层实现，例如Hbase，就是DataBase on Hadoop，也就是基于Hadoop的数据库。由于后面数据的存储需要使用Hbase以及...
2019-03-02 23:26:36
193
原创 [Java大数据入门]Kafka编程示例-Consumer
在上一篇文章中Kafka编程示例-Producer实现了1.0版本的kafka 生产者的示例代码。相对于Producer而言，Consumer的代码实现会更复杂一些，因为这里面会涉及到启动多个线程去消费kafka。本文就尝试实现一个单consumer多线程消费多个分区的消费者示例代码强烈建议大家先阅读下这篇博文:Kafka Consumer多线程实例，本文就是参考这篇文章而成。源代码地址一、...
2019-03-02 19:48:48
468
原创 [Java大数据入门]Kafka编程示例-Producer
Kafka0.9版本以后关于producer和consumer的实现跟0.8版本相比有了很大的不同，目前网上关于新版的生产者和消费者的示例代码很少，因此想要实现在生产中可以使用的producer和consumer代码。本文会主要实现producer相关的代码，下一篇文章会实现多线程的consumer代码在阅读本文之前，强烈建议先阅读以下一篇博文，将新版kafka producer的原理讲解的很透...
2019-03-02 19:00:12
451
原创 [Java大数据入门]Kafka环境搭建
文章目录一、Kafka介绍二、Kafka安装三、Kafka常见shell命令四、Kafka管理UI部署五、总结一、Kafka介绍Kafka官网二、Kafka安装版本： 1.0.0安装包： kafka_2.12-1.0.0.tgz关于安装包的说明：2.12代表此安装包是使用2.12版本的scala编译的，并不代表kafka的版本1.0.0代表kafka的版本使用1.0.0版本是因...
2019-02-22 02:03:29
658
原创 [Java大数据入门]kafka基本概念
文章目录kafka基本概念1、broker2、topic3、partiton4、consumer group5、consumer6、messagekafka基本概念1、broker消息中间件处理节点。一个kafka节点就是一个broker，与机器节点无关。如果一台机器上部署一台kafka节点，那么该机器就只有一个broker，当然一台机器也可以部署多个kafka节点，也就会有多个broker...
2019-02-22 00:44:00
198
原创 [Java大数据入门]前期的准备和说明
文章目录一、各种安装包二、项目安装规范三、项目的简要介绍一、各种安装包在自学的过程中，一个比较痛苦的事情就是在网上找各种安装包。这个过程会浪费我们很多时间，更恶心的就是我们花费一些时间下载了安装包，最后却发现不可用。因此在我学习大数据的时候将自己用到的安装包全部保存在了百度云里。在这个教程之前，先分享给大家。安装包地址密码：3ywi这里我将各种安装包进行说明：项目版本说明...
2019-02-16 18:31:48
285
原创 [Java大数据入门]zookeeper环境搭建
文章目录一、ZK介绍二、ZK安装（单机）三、ZK配置四、WebUI安装五、总结一、ZK介绍zookeeper官网二、ZK安装（单机）版本:3.4.5安装包:zookeeper-3.4.5-cdh5.7.0.tar.gz解压缩：## 将zk解压到指定目录tar -zxf ~/bigData/zookeeper-3.4.5-cdh5.7.0 -C ~/bigData/## 在/op...
2019-02-16 17:13:49
219
原创 [Java大数据入门]开篇
文章目录1、为什么会写这个分类2、涉及的技术栈3、依赖的环境新建了一个Java大数据入口的分类，准备在这个分类下写一些文章。如果说这个分类是一个github仓库，那么这篇文章就是READEME1、为什么会写这个分类从分类的名字可以看出，这个系列是大数据相关的。因为目前在公司负责的项目是大数据相关的，从入职到现在也一直在自学相关的知识，有一些心得，希望记录下来分享给大家。需要注意的是，在写这...
2019-02-16 15:38:26
206
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人