- 博客(6)
- 收藏
- 关注
RSS订阅原创 zookeeper3.4.6部署（集群模式）最全保姆级教程
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义，以及分析 Zookeeper 的典型的应用场景（配置文件的管理、集群管理、同步锁、Leader 选举、队列管理等），用 Java 实现它们并给出示例代码。系统环境：CentOS 7集群环境: 虚拟机。
2024-08-16 19:19:05
752
原创 hadoop2.7安装配置详述&&安装前预备工作简章
#、安装前预备工作准备：准备3台虚拟机，或者3台服务器。虚拟机：网络模式：NAT 模式。内存硬盘根据个人情况分配。#.1、配置时钟同步#.1.1、配置自动时钟同步该项需要在3个节点都配置。使用 Linux 命令配置[root@master1 ~]$ crontab -e该命令是 vi 编辑命令，按 i 进入插入模式，按 Esc，然后键入:wq 保存退出键...
2019-04-22 14:19:08
479
原创 数据仓库架构简述与设计
一、数据仓库是什么数据仓库是面向主题的 集成的 相对稳定的 反映历史变化的数据集合；是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。二、数据仓库建设目的收集海量数据要用于访问 需要以各个方面方便地对数据进行切片及切块 业务人员需要方便的获...
2019-03-10 18:14:03
766
原创 从大数据研发的角度解决org.apache.hadoop.security.AccessControlException: Permission denied: user=***，不需修改集群配置文件
前言： 该异常的解决方法在网上确实已经很多了，但是楼主们都没有考虑到一个问题么？那就是身为大数据研发团队的我们，有权限轻易的去修改hadoop集群的配置文件么？就算有权限修改，万一耦合度较高的文件被修改，我们要去哭着求运维帮我们擦屁股么？很显然小编这篇小短文是在不动运维配置好的配置文件的基础上，解决远程提交hadoop任务出现的AccessControlException，跟...
2018-09-18 10:57:03
9177
6
原创 使用sparkSession读取mac上的.csv文件出现的乱码问题解决方案
如题小编学习spark的时候电脑是windows系统，spark版本是2.2.0，但是工作了换成了mac，在工作的时候不免踩些没有踩过的坑。Windows系统下使用以下方式读取本机的.csv文件是没问题的（前提是字段以’,’隔开，行用’\n’隔开）。SparkSession ss = SparkSession.builder().master("local[*]").appName(...
2018-09-18 09:48:57
1045
原创 HBase 基本介绍和设计原则
hbase 全面介绍一、简介hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase
2018-01-17 15:27:13
2787
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人