大数据
大数据框架中的 hadoop 介绍,搭建 启动注意,特点,mr编写 hadoop各个版本区别,以及特性等等。
Spark 搭建,启动 注意
Storm 搭建,启动 注意,特性等等。
hive
hbase
zk
redis等等。
下次遇见说你好
这个作者很懒,什么都没留下…
展开
-
Zookeeper的搭建和使用_第一节_zk搭建和使用
Zookeeper的搭建和使用_第一节_zk搭建和使用相关 安装包tar xf zookeeper-3.4.6.tar.gz -C /opt/sxt/相关 安装包https://github.com/1367379258/BigDataED/tree/master/tools3节点 java 安装所有集群节点创建目录: mkdir opt/sxtzk压缩包解压在其他路径下::tar xf zookeeper-3.4.6.tar.gz -C /opt/sxt/进入conf目录,拷原创 2020-10-15 10:56:47 · 154 阅读 · 0 评论 -
Redis的搭建和使用_第一节_redis 集群2.8 和3.0搭建和使用
Redis的搭建和使用_第一节_redis 集群2.8 和3.0搭建和使用2.8三个哨兵 监控一个master网状的sentinel 相当于多个节点启动 哨兵 监控2.8三个哨兵 监控一个master[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5EyXkZsy-1602680127780)(https://github.com/1367379258/BigDataEd/blob/master/zookeeper_redis/redis/2.8/redis%E5%8D原创 2020-10-15 10:56:10 · 196 阅读 · 0 评论 -
Hive框架的搭建和使用_第一节_hive的搭建和启动命令等
Hive框架的搭建和使用_第一节_hive的搭建和启动命令等hive 安装包+ mysql-binHive 的搭建一。先安装mysql二。安装hive 配置环境,3. 多用户模式 我们用的是server client分开下面那个1.Remote一体2.Remote分开1.本地模式(derby)2.单用户模式(mysql)hive 安装包+ mysql-binhttps://github.com/1367379258/BigDataED/tree/master/hive/toolHive 的搭建Hi原创 2020-10-15 10:50:46 · 131 阅读 · 0 评论 -
Hbase框架的搭建和使用_第一节_hbase的搭建和hbase读写到hdfs
Hbase框架的搭建和使用_第一节_hbase的搭建和hbase读写到hdfs搭建搭建 伪分布式一个几点就可以了 我们选择没有zk的那个节点那就是 ndoe06搭建完全分布式 :hbase完全分布式安装:1、准备工作2、解压配置 node063、start-hbase.sh 在·node06上2. 读写 hdfshbase 从 hdfs 读取数据 分析后 ,写入 hbase从 hbase 中读取数据 , 写入到 hdfs搭建搭建 伪分布式一个几点就可以了 我们选择没有zk的那个节点那就是 ndo原创 2020-10-14 20:04:31 · 102 阅读 · 0 评论 -
Hadoop框架的搭建和使用_第一节_hadoop1.x和2.x的异同
Hadoop框架的搭建和使用_第一章一、hadoop 1.X版本的 MapReduce1.1 主从架构:JobTracker 和 TaskTracker二、hadoop 1.X 版本的MapReduce存在的问题三、hadoop 2.X 版本之后的MapReduce和YARN3.1 引入资源管理器YARN3.2 YARN的组成YARN主要由4个部分组成:Hadoop框架适用于离线批量处理大文件,主要分为三部分:分布式存储:由HDFS负责;分布式计算:由MapReduce负责;资源(内存等)管理调度原创 2020-10-14 19:34:55 · 224 阅读 · 0 评论