大数据
大数据框架中的 hadoop 介绍,搭建 启动注意,特点,mr编写 hadoop各个版本区别,以及特性等等。
Spark 搭建,启动 注意
Storm 搭建,启动 注意,特性等等。
hive
hbase
zk
redis等等。
下次遇见说你好
这个作者很懒,什么都没留下…
展开
-
Zookeeper的搭建和使用_第一节_zk搭建和使用
Zookeeper的搭建和使用_第一节_zk搭建和使用相关 安装包tar xf zookeeper-3.4.6.tar.gz -C /opt/sxt/ 相关 安装包 https://github.com/1367379258/BigDataED/tree/master/tools 3节点 java 安装 所有集群节点创建目录: mkdir opt/sxt zk压缩包解压在其他路径下:: tar xf zookeeper-3.4.6.tar.gz -C /opt/sxt/ 进入conf目录,拷原创 2020-10-15 10:56:47 · 206 阅读 · 0 评论 -
Redis的搭建和使用_第一节_redis 集群2.8 和3.0搭建和使用
Redis的搭建和使用_第一节_redis 集群2.8 和3.0搭建和使用2.8三个哨兵 监控一个master网状的sentinel 相当于多个节点启动 哨兵 监控 2.8 三个哨兵 监控一个master [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5EyXkZsy-1602680127780)(https://github.com/1367379258/BigDataEd/blob/master/zookeeper_redis/redis/2.8/redis%E5%8D原创 2020-10-15 10:56:10 · 205 阅读 · 0 评论 -
Hive框架的搭建和使用_第一节_hive的搭建和启动命令等
Hive框架的搭建和使用_第一节_hive的搭建和启动命令等hive 安装包+ mysql-binHive 的搭建一。先安装mysql二。安装hive 配置环境,3. 多用户模式 我们用的是server client分开下面那个1.Remote一体2.Remote分开1.本地模式(derby)2.单用户模式(mysql) hive 安装包+ mysql-bin https://github.com/1367379258/BigDataED/tree/master/hive/tool Hive 的搭建 Hi原创 2020-10-15 10:50:46 · 264 阅读 · 0 评论 -
Hbase框架的搭建和使用_第一节_hbase的搭建和hbase读写到hdfs
Hbase框架的搭建和使用_第一节_hbase的搭建和hbase读写到hdfs搭建搭建 伪分布式一个几点就可以了 我们选择没有zk的那个节点那就是 ndoe06搭建完全分布式 :hbase完全分布式安装:1、准备工作2、解压配置 node063、start-hbase.sh 在·node06上2. 读写 hdfshbase 从 hdfs 读取数据 分析后 ,写入 hbase从 hbase 中读取数据 , 写入到 hdfs 搭建 搭建 伪分布式 一个几点就可以了 我们选择没有zk的那个节点那就是 ndo原创 2020-10-14 20:04:31 · 225 阅读 · 0 评论 -
Hadoop框架的搭建和使用_第一节_hadoop1.x和2.x的异同
Hadoop框架的搭建和使用_第一章一、hadoop 1.X版本的 MapReduce1.1 主从架构:JobTracker 和 TaskTracker二、hadoop 1.X 版本的MapReduce存在的问题三、hadoop 2.X 版本之后的MapReduce和YARN3.1 引入资源管理器YARN3.2 YARN的组成YARN主要由4个部分组成: Hadoop框架适用于离线批量处理大文件,主要分为三部分: 分布式存储:由HDFS负责; 分布式计算:由MapReduce负责; 资源(内存等)管理调度原创 2020-10-14 19:34:55 · 343 阅读 · 0 评论