大数据的搭建
三房头o
这个作者很懒,什么都没留下…
展开
-
linux环境搭建
Linux思想:一切皆文件Linux系统安装VMware介绍:虚拟机,将硬件进行虚拟化,将内存和CPU打包:容器VMware配置配置网络段编辑 -》虚拟网络编辑器子网ip可以自己配置,但是要注意ip地址格式Liunx系统准备此处有centOS的镜像文件,解压即可用,注意解压目录途径不要包含中文链接:https://pan.baidu.com/s/1ffaSXpvZJs7Ds2...原创 2019-09-19 10:53:04 · 117 阅读 · 0 评论 -
jdb mysql安装
Linux软件管理软件类型rpm:redhat序列特有软件包dpkg:debian序列特有软件包源码包:需要在Linux上进行编译安装Java:Mavenc/c++:预编译:configure;编译:make; 安装:make install软件安装方式rpm软件查询:rpm –q...原创 2019-09-19 11:04:55 · 270 阅读 · 0 评论 -
zookepper 的安装使用
zookeeper来源Google:bigTable和GFS中包含chubby框架服务,chubby是一个分布式锁服务,基于pa...原创 2019-09-19 11:23:23 · 157 阅读 · 0 评论 -
HBase 介绍及安装配置
hbase 的介绍 nosql数据库,面向列式存储,内存存储机制, 存储的数据类型是二进制hbase表每行数据都有一个主键:rowky一个表中,包含一个或者多个列簇(Column Family)CF某个字段要属于某个列簇一个列簇下面可以有百万个列HBASE存储数据的本质,可以理解为键值对存储key rowkey+CF +column +timstampvalue 值是二...原创 2019-07-29 22:22:58 · 120 阅读 · 0 评论 -
hadoop安装及其日志
hadoop的安装部署注意:下面步骤中的配置文件中的汉字建议全部删除,否则会出现编码出错安装方式:伪分布式,让进程跑在一台机器上,只是端口不一样文档:http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/Single...原创 2019-09-19 11:16:43 · 222 阅读 · 0 评论 -
azkaban的安装使用
任务调度管理工具功能主要是调度方面的功能,有些工具也支持资源的管理,比如zeus和Yarn类似时间调度:基于时间条件触发程序执...原创 2019-09-19 11:35:55 · 135 阅读 · 0 评论 -
hive的搭建使用
HIVE框架1:可以干什么:将SQL语句转换成MapReduce程序,并且提交到Yarn上运行,读取HDFS上的数据进行处理。SQL语句:和MySQL数据库中SQL语句非常非常类似。2:概念:SQL on Hadoop建立在Hadoop之上提供以SQL方式分析数据的框架最早的由facebook开源...原创 2019-09-19 11:11:02 · 150 阅读 · 0 评论