大数据
文章平均质量分 56
Yet again
这个作者很懒,什么都没留下…
展开
-
单链表的反转及合并(c++)
//定义一个链表结点struct ListNode{ int data; ListNode* next;};(1)头结点插入法void Reversal(LinkNode* head){ LinkNode *p,*q; p=head->next; head->next=NULL; while(p){ q=p->next; p->next=head->next; head->next=p; p=q; }}(2)三指针法(就地反转载 2021-11-30 00:10:21 · 179 阅读 · 0 评论 -
安装和配置 Hive 数据仓库
文章目录准备条件实验步骤准备条件虚拟机 VMWareLinux 系统 UbuntuJava JDK8Hadoop 2.7.3Hive 2.1.1实验步骤步骤 1下载和解压 apache-hive-2.1.1-bin.tar.gz 到 ~ 目录tar -zxvf ./apache-hive-2.1.1-bin.tar.gzsudo mv apache-hive-2.1.1-bin hive-2.1.1 // 更改文件夹名称sudo chown -R 用户名 hive-2.1.1原创 2021-11-28 17:32:35 · 1799 阅读 · 0 评论 -
使用 Hive QL 操作数据
文章目录准备条件实验步骤准备条件虚拟机 VMWareLinux 系统 UbuntuJava JDK8Hadoop 2.7.3Hive 2.1.1实验步骤步骤1启动 HDFS ,注意 Hive 是运行在 HDFS 之上的,必须安装好和启动 HDFS 才能使用 Hive启动 Hive进入 Hive 命令行(CLI)cd ~/hive-2.1.1/binhive步骤2创建数据库 testdb.步骤3创建 student 表,包含下面 5 列:1. id 学号,使用原创 2021-11-28 17:23:25 · 1347 阅读 · 0 评论 -
HDFS Java API使用
文章目录准备条件实验步骤准备条件虚拟机VMWareLinux系统 UbuntuJava JDK8Hadoop 2.7.3Eclipsehadoop-eclipse-plugin-2.7.3.jar实验步骤步骤1启动 HDFS,cd ~~/hadoop-2.7.3/sbin/start-all.sh执行jps查看运行状态,确保Namenode,Datanode等进程已经启动步骤2安装好Eclipse,配置Hadoop插件步骤3启动Eclipse,使用HDFS Java原创 2021-11-28 17:18:52 · 1525 阅读 · 0 评论 -
HDFS Java开发环境Eclipse的配置
文章目录准备条件实验步骤准备条件虚拟机VMWareLinux系统UbuntuJava JDK8Hadoop 2.7.3Eclipsehadoop-eclipse-plugin-2.7.3.jar实验步骤步骤1为防止每次重启Linux,Namenode的格式化信息丢失导致Namenode无法启动,需要修改tm文件位置,执行sudomkdir ~/hadoop_tmp&&chmodo+w~/hadoop_tmp,然后设置tmp为home目录下的hadoop_tmp在原创 2021-11-28 17:15:15 · 520 阅读 · 0 评论 -
使用 HDFS Shell 命令管理文件系统
文章目录1. 熟悉常用 HDFS Shell 命令2. 会使用 Shell 对 HDFS 进行简单的文件管理1. 熟悉常用 HDFS Shell 命令2. 会使用 Shell 对 HDFS 进行简单的文件管理实验步骤:启动 HDFS 服务 命令:cd ~/hadoop-2.7.3/sbin ./start-all.sh 检查 HDFS 文件系统的整体状态命令: hdfs fsck /使用 ls 命令查看文件和目录,输出是空的吗?如果是空的表示什么?命令:hdfs dfs原创 2021-11-27 22:19:28 · 1064 阅读 · 0 评论 -
在单节点集群上安装Hadoop和HDFS
一、准备条件虚拟机VMWareLinux系统 UbuntuJava JDK8Hadoop 2.7.3二、实验目的回顾复习Linux 文件操作和vi编辑器使用方法学会在Ubuntu系统中安装和配置Hadoop掌握启动Hadoop和查看HDFS daemons服务状态的方法三、实验原理Linux系统下Java 运行和开发环境JDK的安装配置在Java环境中安装和运行Hadoop四、实验步骤步骤1在Ubuntu中下载Java 8 的tar文件jdk-8u101-linux-原创 2021-11-27 22:08:36 · 489 阅读 · 0 评论 -
使用 HDFS Shell 命令管理文件系统
启动 HDFS 服务 命令:cd ~/hadoop-2.7.3/sbin ./start-all.sh 检查 HDFS 文件系统的整体状态命令: hdfs fsck /使用 ls 命令查看文件和目录,输出是空的吗?如果是空的表示什么?命令:hdfs dfs -ls /是空的。表示文件系统里面没有任何文件。4. 使用 mkdir 创建两个文件夹,文件夹名称为 test1 和 test2.命令:hdfs dfs -mkdir -p /gs/test1 hdf.原创 2021-11-20 16:48:30 · 1054 阅读 · 0 评论 -
安装单节点HBase和使用Shell
步骤1启动HDFS (参考实验一),注意HBase是运行在HDFS之上的,必须安装好和启动HDFS才能使用HBase;cd ~/hadoop-2.7.3/sbin./start-all.sh (期间可能提示输入系统密码)同时注意我们使用HBase自带的zookeeper服务步骤2下载并解压hbase-1.1.2-bin.tar.gz,放在当前登陆用户目录~下cd ~tar -xvf hbase-1.1.2-bin.tar.gz 在终端Terminal中用tar解压文件在bash文原创 2021-11-20 16:26:19 · 1791 阅读 · 0 评论 -
数据挖掘题
数据属性的四种类型分别是什么属性有四种类型:标称、序数、区间、比率。用单链聚类算法解决问题聚类算法就是根据特定的规则,将数据进行分类。分类的输入项是数据的特征,输出项是分类标签,它是无监督的。常见的聚类规则包括:1)基于原型的,例如有通过质心或中心点聚类,常见的算法KMeans;2)基于图的,也就是通过节点和边的概念,形成连通分支的分类,常见的算法是凝聚层次聚类,最小生成树聚类;3)基于密度的,根据数据密度的大小进行聚类,常见的算法是DBSCAN,SNN密度聚类;4)基于统计的聚类,数据一般符合一种原创 2021-09-20 23:43:38 · 241 阅读 · 0 评论 -
大数据复习资料
HDFS分布式文件系统的关键特点(列举三个):MapReduce的底层数据存储在(HDFS)ZooKeeper 的集群角色包含:(Leader)(Learner)、(Follower)、(Observer)。HBase需要Hadoop组件(Zookeeper)作为协调管理节点,HMaster是HBase架 构中的(管理(控制))节点Pig提供三种复杂数据类型:(Bag)、(Map)、(Tuple)。Hadoop最核心的两个组成模块是:(HDFS) (MapReduce)0Hive的元数据存储包括原创 2021-09-20 23:34:34 · 1608 阅读 · 0 评论 -
hbase数据库表相关操作:shell命令
命令行输入 hbase shell 进入hbase创建表:create 'test', 'cf' --表示创建表test,字段族(column familly)cf插入数据:put 'test', 'row1', 'cf:a', 'value1'put 'test', 'row2', 'cf:b', 'value2'put 'test', 'row1', 'cf:b','aaa'查询全部数据:scan 'test'查询单个数据:get 'test','row2'查询某行的某原创 2021-04-29 22:48:49 · 397 阅读 · 1 评论