云存储技术
深巷的猫~
在挣扎的边缘徘徊中.......
展开
-
Hadoop之Zookeeper安装
1、Zookeeper基本安装配置该项的所有操作步骤使用专门用于集群的用户admin进行此项只在一台主机操作,然后在下一步骤进行同步安装与配置首先,Zookeeper软件包“Zookeeper-3.4.9.tar.gz”,上节课已经上传到用户家目录的“setups”目录下。然后进行解压和环境变量设置。$mkdir ~/zookeeper #创建用户存放Zookee...原创 2019-04-16 12:30:16 · 1780 阅读 · 0 评论 -
MapReduce API(练习)
实验目的1、 搭建MapReduce编程模型2、 配置Eclipse和Maven3、 Hadoop集群与启动顺序4、 MapReduce的WorfCount应用5、 学习编写一个MapReduce程序,运行并得出结果6、 在Hadoop集群中提取运行结果实验进入启动模式一、 MapReduce编程实例1、 创建Maven项目,File->new->other,选择M...原创 2019-06-28 12:56:02 · 907 阅读 · 0 评论 -
数据仓库Hive
目录一、 Hive中的DDL和DML的使用二、Hive内置函数与Hive自定义函数三、Hive调优策略一、 Hive中的DDL和DML的使用1、 Hadoop集群启动1.1 查看并启动Zookeeper服务1.2 在主节点启动Hadoop集群1.3 在备用节点启动ResourceManager1.4 在主节点启动Hbase集群1.5 分别在主节点、备用节点和数据节点用...原创 2019-06-26 17:27:03 · 165 阅读 · 0 评论 -
Spark集群环境部署
Spark集群环境部署 集群概况:采用3台机器作为实例来演示如何搭建Spark集群:其中1台机器作为Master节点,另外两台作为Slave节点 准备工作:Spark程序包和Hadoop集群环境 安装sqark 配置环境变量 Spark配置 启动、关闭Spark集群一、 Spark集群环境部署1、Spark安装包下载地址:http://spark.apache.org/...原创 2019-06-08 17:19:01 · 431 阅读 · 0 评论 -
安装配置Sqoop-1.4.7
安装配置Sqoop-1.4.71、下载并上传sqoop相关安装,并将其解包解压2、配置环境变量(vi ~/.bash_profile),并使配置的环境变量生效(source ~/.bash_profile)3、在sqoop的conf目录下,添加并修改配置文件4、添加mysql驱动和相关Jar包5、查看是否安装成功如有想法,欢迎评论!...原创 2019-06-07 12:32:00 · 391 阅读 · 0 评论 -
数据迁移框架sqoop
数据迁移框架sqoop一、启动Hadoop集群并连接测试1.1 查看并启动Zookeeper服务1.2 在主节点启动Hadoop集群1.3 在备用节点启动ResourceManager1.4 在主节点启动Hbase集群1.5 分别在主节点、备用节点和数据节点用“jps”查看Jvav进程信息1.7 启动MySQL①启动管理节点②启动数据节点③启动SQL节点...原创 2019-06-06 12:42:03 · 429 阅读 · 0 评论 -
搭建MySQL数据库平台
MySQL集群是一个共享的、分布式节点架构的存储方案,其目的是提供容错性和高性能;“NDB”是一种“内存中”的存储引擎,也是事务型存储引擎,具备ACID属性管理节点:负责管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等;由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。数据节点:用于保存...原创 2019-05-09 19:38:01 · 1139 阅读 · 0 评论 -
Hadoop分布式数据库
一、 掌握Hbase编程1、 构建Java工程文件,File- ->New- ->Other- ->Java Project- ->输入项目名称二、 配置Eclipse编程环境1、导入jar包,将hbase-1.2.3\lib下的所有jar包,通过Build Path- ->Add to build Path添加到该Java工程文件2、 添加hbase-s...原创 2019-05-19 16:41:00 · 2410 阅读 · 0 评论 -
Maven构建HDFS API及相关操作
一、安装Maven1、 配置系统环境变量2、 验证-在cmd输入mvn –v3、设置localRepository例如我的repo位置为:D:\software\Maven\repo,在config文件夹中找到settings.xml4、 测试-输入mvn help:system执行完该命令后,在D:\software\Maven\repo下面会出现很多文件,这些文件就maven...原创 2019-05-19 11:26:00 · 1523 阅读 · 0 评论 -
安装Hadoop HA集群
1、Hadoop基本安装配置 该项的所有操作步骤使用专门用于集群的用户admin进行此项只在一台主机操作,然后在下一步骤进行同步安装与配置首先,Hadoop软件包“hadoop-2.7.3.tar.gz”,上节课传到用户家目录的“setups”目录下,然后进行解压和环境变量设置。$mkdir ~/hadoop #创建用于存放Hadoop相关文件的目录$cd ~/h...原创 2019-05-08 18:25:01 · 411 阅读 · 0 评论 -
HBase高可用集群的安装
1、HBase基本安装配置该项的所有操作步骤使用专门用于集群的用户admin进行此项只在一台主机操作,然后在下一步骤进行同步安装与配置首先,HBase软件包“hbase-1.2.3-bin.tar.gz”已上传到家目录的“setups”目录下,然后进行解压和环境变量设置命令:mkdir ~/hbase #创建用于存放HBase相关文件的目录 、cd ~/hbase ...原创 2019-05-05 18:49:04 · 559 阅读 · 0 评论 -
Hadoop之JDK的安装
1、卸载原有JDK该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次1.1卸载#rpm -qa | grep java #搜索所有当前系统中已经安装的JDK相关软件包,主要针对系统自带的和使用rpm安装包安装的情况#rpm -qa | grep jdk #通过编译包直接部署的免安装版是搜索不到的,可以查询环境变量删除相应配置和目录#rmp -e...原创 2019-04-14 14:15:14 · 7257 阅读 · 0 评论 -
音乐排行榜
实验目的理解HDFS、MapReduce和Hbase的集成使用掌握快速导入数据到Hbase的方法掌握利用MapReduce接受Hbase数据输入掌握利用MapReduce输出到Hbase的应用一、 MapReduce与Hbase的集成1、 将hbase-site.xml文件复制到$HADOOP_HOME/etc/hadoop下2、编译$HADOOP_HOME/etc/hadoop...原创 2019-08-27 20:45:01 · 1716 阅读 · 0 评论