大数据
文章平均质量分 52
是谁注册了我的2052
给我2052
展开
-
基于经纬度进行商圈定位
一:使用高德地图的接口获取key的步骤:1.申请网站:https://lbs.amap.com/2.登陆注册3.选择开发支持–>web服务API4.进入控制台–>我的应用5.新建应用–>创建key6.添加key7.生成key8.选择逆地理编码–>查看示例9.服务示例服务示例https://restapi.amap.com/v3/geoc...原创 2019-10-21 13:57:06 · 1802 阅读 · 1 评论 -
CDH搭建大数据生产环境
CDH方式搭建大数据平台的优势:提供UI界面交互,极大的简化了集群的搭建,减少版本冲突通过网页浏览器就可以实现集群的操作和管理前言:搭建前准备: 确保 linux系统的以及服务器集群的搭建已ok示例版本: 5.14.0示例节点: 两个示例步骤: 安装前环境准备 , 安装过程 , 启动环境以及安装相应软件架构安装前的环境搭建一:整体架构二:安装前准备两台虚拟机,一台作为主节点,...原创 2019-09-15 13:16:22 · 890 阅读 · 0 评论 -
常用linux命令
常用命令总结1、常用操作查看当前目录下的所有文件及目录ls/ll进入目录cd查看当前目录pwd结束当前进程(ctrl+z把进程移到后台运行)ctrl+c/ctrl+z新建目录mkdir dir1[ dir2 dir3 dir4] 新建四个dir删除目录rm -rf dir 删除目录下及目录下的所有文件递归创建目录m...原创 2019-09-11 23:15:46 · 94 阅读 · 0 评论 -
Kafka安装和操作命令
一:kafka的安装前提:安装前需要确认zookeeper集群是否安装ok,因为kafka需要依赖于zookeeper进行集群的管理另外jdk环境也是必备的1.下载:http://archive.apache.org/dist/kafka/2.上传服务器和解压缩上传: 使用 rz -E 命令上传解压: jar -zxvf … 命令3.确定集群节点的部署4.安装解压后需要修改配置...原创 2019-09-07 11:02:36 · 116 阅读 · 0 评论 -
制作本地yum源
一:CDH包下载链接:http://archive.cloudera.com/cdh5/repo-as -tarball/5.14.0/cdh5.14.0-centos6.tar.gz二:上传至任意一台服务器,解压由于文件比较大,建议采用sftp命令上传解压命令: tar -zxvf cdh5.14.0-centos6.tar.gz -C 目标位置三:使用 Apache Server...原创 2019-09-03 22:35:47 · 210 阅读 · 0 评论 -
mapreduce求共同好友案例示例
案例需求:求出两两之间的共同好友一:案例分析图解------------------------------------------------------------第一阶段----------------------------------------------------------------------------1.导入pom.xml依赖,特别留意打包插件,他可以把依赖的j...原创 2019-08-27 12:21:27 · 276 阅读 · 0 评论 -
Hive的安装以及交互方式的介绍
一:安装部分1.下载:http://archive.apache.org/dist/hive/hive-2.1.1/2.上传至自己的linux服务器上,解压到指定目录3.还需要安装mysql3.1.使用yum命令安装mysql,也可以选择其他方式yum install mysql mysql-server mysql-devel3.2.启动mysql服务/etc/init.d/my...原创 2019-08-25 21:52:38 · 102 阅读 · 0 评论 -
Zookeeper的安装流程
一:在安装zookeeper之前有必要了解以下zookeeper1.zookeeper可以看出是一个辅助性的框架2.zookeeper也可以看成是一个数据库,它是树形结构,没有文件夹和文件的概念,但是每个节点又有文件和文件夹的特性,即可以存储数据又可以像文件夹一样有子节点,每个节点都可以存储数据,但是很小,只有1M,主要是用来存储的是元数据.3.zookeeper的一些应用场景1.数据的发...原创 2019-08-14 23:19:21 · 189 阅读 · 0 评论 -
HDFS元数据更新机制
我们知道NameNode是记录文件元数据的,那么他是如何保证数据的完整性和准确性的呢?咱们来大概了解一下前言:1.首先在大规模数据量的前提下,元数据的数量是以亿计的,为了提高查询效率,所以都会在内存中操作.2.每条元数据150byte,无论datanode上占有多少内存,元数据的大小都一样,所以为了提高内存的利用率,建议不要存放过多小文件,避免因为元数据的溢出但是datanode上内存反而...原创 2019-08-10 14:02:39 · 1637 阅读 · 0 评论 -
HDFS文件下载机制
继上次文件上传机制后,接着分享一下HDFS的文件下载机制吧,下载机制比上传机制相对简单很多1.首先从客户端请求下载文件,从客户端发送rpc请求到NameNode上2.NameNode会把关于这个文件的存储位置和大小,以及副本的数量等响应回给客户端3.客户端根据最近原则先下载第一个block块4.在下载完成block1后就跟DataNode断开连接5.跟block2中的DataNode建立...原创 2019-08-09 22:51:50 · 135 阅读 · 0 评论 -
hadoop机制全解图
把关于hadoop的一些知识点补全它,呈现一个完整的架构一:三大组件的图解HDFSMapReduceYarn二:联邦机制+HA高可用机制图解原创 2019-08-19 15:05:05 · 110 阅读 · 0 评论 -
HDFS文件上传机制
以图的形式详细介绍一下HDFS作为分布式文件管理的文件上传机制吧,毕竟文字描述太生硬,不好理解先大概介绍以下HDFShdfs集群分为namenode和datenode(secondary namenode)NameNode负责管理整个文件系统的元数据(记录数据的存放位置)DataNode不负责切块,只负责管理用户的文件数据块文件会按照固定大小128M(blocksize)切成若干块后分...原创 2019-08-09 00:18:08 · 253 阅读 · 0 评论