![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 92
SK_Jaco
这个作者很懒,什么都没留下…
展开
-
使用ES完成“离我最近”相关功能
文章目录前言准备工作1.构建索引2.插入数据完成需求1.根据经纬度进行距离排序并获取距离2.获取距离并筛选距离总结前言最近项目中有个需求是完成离我最近的功能,经过讨论决定使用ElasticSearch根据用户所在位置经纬度来完成相关需求,这里使用一个小的Demo来做记录。准备工作1.构建索引创建索引location_test,索引只包含两个字段,一个景点名字另一个是景点经纬度,保存经纬度使用geo_point类型存储。PUT http://localhost:9200/location_test原创 2020-09-20 23:37:48 · 2160 阅读 · 1 评论 -
Kafka——Kafka搭建及问题解决
简介Kafka是基于发布与订阅的消息系统设计的分布式流处理平台,有scale和java编写开发,官方对其描述为拥有三大功能:Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system.(发布订阅流记录,与消息队列、企业级消息系统相似)Store...原创 2019-08-27 23:12:17 · 754 阅读 · 0 评论 -
Kafka——Kafka相关操作
命令行操作创建Topic->向Topic发送消息->接收Topic消息,所有消息命令都在kafka文件的bin目录下创建Topic和Topic有关的指令都是用bin目录下的kafka-Topics.shbin/kafka-topics.sh --create --bootstrap-server 192.168.108.129:9092 --replication-factor...原创 2019-09-05 21:27:04 · 1480 阅读 · 0 评论 -
Kafka——SpringBoot整合Kafka
maven配置<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> ...原创 2019-09-10 20:55:13 · 1297 阅读 · 0 评论 -
ZooKeeper——ZooKeeper搭建及问题解决
目标:三台zk集群192.168.108.128 node1192.168.108.129 node2192.168.108.130 node3下载解压下载安装包apache-zookeeper-3.5.5-bin.tar.gz,解压tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz进入文件夹apache-zookeeper-3.5.5-bin,...原创 2019-08-27 17:16:02 · 1850 阅读 · 6 评论 -
Hadoop入门——YARN
1.YARN简介 Apache YARN(Yet Another Resource Negotiator),是Hadoop集群的资源管理系统,从Hadoop 2.x开始引入,由于YARN具有足够的通用性,因此可以支持其他的分布式计算框架(如MapReduce、Spark等)。YARN通过两类长期运行的守护进程提供自己的核心服务:资源管理器(Resource Manager)和节点管理器(Nod...原创 2019-05-10 22:20:37 · 802 阅读 · 0 评论 -
Hadoop入门——MapReduce运行机制
作业提交 MapReduce作业提交拥有客户端、YARN资源管理器、YARN节点管理器、application master和File System五个独立实体组成,通过调用Job对象的waitForCompletion()方法提交作业,waitForCompletion方法用于提交以前没有提交过的作业,并等待他完成,方法定义:public boolean waitForCompletion...原创 2019-05-13 22:43:46 · 1018 阅读 · 0 评论 -
Hadoop入门——数据处理
1.map和reduce MapReduce任务编写分为两个阶段:map阶段和reduce阶段,每个阶段都以键值对作为输入和输出。对于NCDC数 据找出每年的最高气温,map阶段输入为原始数据以偏移量为键,每行数据为值,输出每条记录的年份与温度的键值对,如图所示:图1 map阶段输入数据格式![在这里插入图片描述](https://img-blog.csdnimg.cn/2019050...原创 2019-05-05 18:57:25 · 1206 阅读 · 0 评论 -
Hadoop入门——初识DataNode
1.DataNodeHDFS架构:NameNode、DataNode、Secondary NameNode;DataNode:提供真实的文件数据存储服务;文件块(Block):文件块是最基本的存储单位,在DataNode中,文件被分为文件块,默认为三个,HDFS默认一个Block大小是128M,通过dfs.block.size配置文件可修改大小。HDFS跟普通文件系统不相同,如果一个文件小于一个数...原创 2018-02-24 23:00:49 · 484 阅读 · 0 评论 -
Hadoop入门——环境搭建
1.安装JDK(1)选择JDK7.0以上的版本,将JDK上传至Linux虚拟机中;(2)解压 创建文件夹:mkdir /home/hadoop/myHadoop 解压:tar -zxvfjdk-7u55-linux-i586.tar.gz -C /home/hadoop/myHadoop(3)配置环境变量 vim /etc/pro...原创 2018-02-19 23:17:35 · 392 阅读 · 0 评论 -
Hadoop入门——元数据管理机制
1.HDFS架构包含NameNode、DataNode、Secondary NameNode(1)NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件包括:fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息;edits:操作日志文件;fsti...原创 2018-02-19 22:56:13 · 2680 阅读 · 0 评论