Big Data
海上的程序猿
计算机还是很浪漫的!!!
展开
-
机器学习之LARNN(Linear Attention Recurrent Neural Network)
Linear Attention Recurrent Neural Network(LARNN)由Guillaume Chevalier结合前人的经验于2018年八月发表的论文《LARNN: Linear Attention Recurrent Neural Network》中提出。 LARNN的核心机制是将Self-Attention Mechanisms(SAM)应用到Recurrent ...原创 2020-04-14 11:26:31 · 1371 阅读 · 0 评论 -
大数据学习笔记——基于Java的Solr查询HBASE
*** 本篇文章主要记载个人在使用Solr进行查询和处理数据的过程中遇到的问题及解决方案。前置工作项目使用Maven引入必须的依赖包<!-- 连接Hbase --><dependency> <groupId>com.aliyun.hbase</groupId> <artifactId>alihbase-clie...原创 2019-11-12 10:39:24 · 295 阅读 · 0 评论 -
大数据学习笔记——使用Solr建立HBASE索引
最近工作需要解除HBase存储数据,并对数据进行加工分析处理。在此将个人学习过程及踩过的坑记录一下,放置个人大脑遗忘,希望在缓解个人脑容量不足的情况下,也能给他人提供帮助。环境: 阿里云Hbase企业版流程: Hbase表的创建、数据插入、Solr的Collection创建、Solr索引创建、Java通过Solr访问查询数据。Hbase表、Solr Collection、Solr索引三者之...原创 2019-09-04 12:45:48 · 1555 阅读 · 3 评论 -
大数据学习笔记——Kafka理论知识
Kafka基础组件Topics(主题)属于特定类别的消息流称为主题。数据存储在主题中。主题被拆分成分区。对于每个主题,Kafka保存一个分区的迷你妈妈。每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。Partition(分区)主题可能有许多分区,因此它可以处理任意数量的数据。Partition offset(分区偏移)每个分区消息具有称为...原创 2019-09-19 17:39:23 · 708 阅读 · 0 评论 -
大数据学习笔记——Kafka Offset Monitor监控及简单的Kafka项目搭建
Kafka Offset Monitor监控kafka Offset Monitor用来监控你的Kafka消费者和他们的偏移量。你能够看到每一个消费者组在它们正在消费的每一个topic组的每一个topic的偏移量。有助于理解消费的速度以及日志增长的速度。下载地址https://github.com/BangpengGao/kafka-offset-monitor。安装github...原创 2019-09-23 15:20:06 · 1662 阅读 · 0 评论 -
大数据学习笔记——Kafka相关命令记录
jps查看Kafka相关进程及进程号。其中Kafka为Kafka的守护进程,QuorumPeerMain为Zookeeper的守护进程13542 Jps 6871 Kafka 31224 QuorumPeerMainbin/kafka-topics.sh --list --zookeeper localhost:2181查看Kafka已创建的topicsbin/kafka-c...原创 2019-09-26 09:43:37 · 125 阅读 · 0 评论