![](https://img-blog.csdnimg.cn/20200316131435632.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop
濯一一
这个作者很懒,什么都没留下…
展开
-
作业4-8-21:本地数据集上传到数据仓库Hive
请完成本地数据集的预处理: (1)删除第1行说明字段 (2)加id字段,删除“地理位置信息”字段,“访问时间”字段只取年月日,加“省份”字段 新建HDFS目录bigdatacase/dataset,完成本地文件上传到HDFS目录中。 新建Hive外部表,location指向第2步的HDFS文件目录。 正确答案:我的答案:...原创 2021-04-11 00:03:28 · 899 阅读 · 0 评论 -
作业4-8-19:hive实例—WordCount
使用Hive命令完成单词统计。将程序代码和运行结果截图提交。正确答案:我的答案:原创 2021-04-10 23:26:44 · 176 阅读 · 0 评论 -
作业4-8-18:hive命令(创建表、加载本地、hdfs文件数据)
一、创建表,并加载数据到表中。请执行如下hive命令,并将执行结果截图提交。 创建数据库myhive,使用数据库myhive 创建表student,包含学号,姓名,性别,年龄,专业等字段 加载本地数据到表student中 查询年龄在20岁以上的学生 查看student表的描述信息 二、加载HDFS上的数据到表中。请执行如下hive命令,并将执行结果截图提交。 创建本地文件test.txt 上传test.txt到HDFS的当前路径中原创 2021-04-10 23:26:24 · 827 阅读 · 0 评论 -
作业4-8-17:Hive的安装和配置
完成Hive的安装和配置,请将配置成功的结果截图提交。正确答案:我的答案:原创 2021-04-09 00:15:17 · 414 阅读 · 0 评论 -
作业4-8-15:MapReduce编程—Merge和MergeSort
请编写2个MapReduce程序,分别实现功能:(1)合并HDFS文档并去掉重复的记录(2)对HDFS文档中的数字进行排序,并输出序号和排序结果请提交程序代码截图和执行结果截图。正确答案:我的答案:...原创 2021-04-09 00:13:45 · 152 阅读 · 0 评论 -
作业4-8-14:MapReduce编程——WordCount:统计HDFS文件中单词出现的频次
使用MapReduce编程程序:统计HDFS文件中单词出现的频次。请将程序代码和运行结果截图提交。正确答案:我的答案:原创 2021-04-09 00:13:16 · 142 阅读 · 0 评论 -
作业4-8-13:MongoDB编程
请编写java程序完成MongDB的以下操作,并将程序源代码和结果截图提交。(1)添加3条记录到表集合中(2)查询表集合中的所有记录(3)修改表集合中的一条记录(4)删除表集合中的一条记录正确答案:我的答案:...原创 2021-04-09 00:12:49 · 81 阅读 · 0 评论 -
作业4-8-12:MongoDB命令(增删改查)
请分别演示MongoDB的以下操作,并截图提交。 新建数据库school 在school下新建集合student和teacher 对student进行操作: (1)对字段name,age分别插入5条数据。(含name是张三和李四;age是20-30岁之间的记录) (2)查找所有数据 (3)查找name是张三的数据 (4)查找age在20岁到30岁之间的数据记录 (5)修改age在20-25之间的所有数据的name是李四 (6)删除name是李四的数据 (原创 2021-04-09 00:11:57 · 250 阅读 · 0 评论 -
作业4-8-11:MongoDB的安装和配置
请完成MongoDB数据的安装和配置,将配置成功的结果截图提交。正确答案:我的答案:原创 2021-04-09 00:11:17 · 97 阅读 · 0 评论 -
作业4-8-10:Redis编程
1、分别完成value是string、value是对象、value是hash的写入redis数据库,读取redis数据库中的数据打印的编程。请将3个程序代码和执行结果截图提交。正确答案:我的答案:原创 2021-04-09 00:10:47 · 83 阅读 · 0 评论 -
作业4-8-9:Redis基础命令
1、完成Redis五种数据结构:string hash list set sortedset基本命令的简单使用,截图提交。正确答案:我的答案:原创 2021-04-09 00:10:14 · 93 阅读 · 0 评论 -
作业4-8-8:安装Redis数据库
1、请安装Redis数据库,将安装成功的结果截图提交。2、将关系型数据库转换成Redis数据库存储,将存储的结果截图显示。正确答案:我的答案:原创 2021-04-09 00:08:41 · 73 阅读 · 0 评论 -
作业4-8-7:HBase的Java 编程(增删改查)
1、请使用Java API实现以下功能,并将程序代码和运行结果都截图提交。 列出所有表名 创建表 删除表 插入一条数据到单元格 删除一个单元格的数据 显示打印一个单元格的数据信息 正确答案:我的答案:package com.test;import java.io.IOException;import org.apache.hadoop.conf.*;import org.apache.hadoop.hbase.*;import o原创 2021-04-08 11:01:35 · 275 阅读 · 0 评论 -
作业4-8-6:HBase Shell(课程表SC:增删改查)
1.创建课程表SC,列族:Sno,Cno, course。其中course字段的VERSIONS为102. 插入数据keyrow(行键) Sno Cno coursec1 s01 c01 Mathc2 s02 c02 Englishc3 s03 c03 Computer3. 更新历史数据在keyrow为c1的列族course中更新...原创 2021-04-08 10:56:49 · 353 阅读 · 0 评论 -
作业4-8-5:HBase Shell插入数据:学生表、课程表、选课表
现有以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:学生表(Student) keyRow 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) s01 2015001 Zhangsan male 23 s02原创 2021-04-08 10:50:49 · 3484 阅读 · 1 评论 -
作业4-8-4:HBase的伪分布配置
1、请完成HBase的伪分布配置,并将配置成功的结果截图。正确答案:我的答案:原创 2021-04-08 10:46:22 · 108 阅读 · 0 评论 -
作业4-8-3:HDFS编程(判断是否存在、读写文件)
1、请完成“判断文件是否存在”的HDFS程序并截图提交。正确答案:我的答案:2、请完成“读文件”的HDFS程序并截图提交。正确答案:我的答案:3、请完成“写文件”的HDFS程序并截图提交。正确答案:我的答案:...原创 2021-04-08 10:44:35 · 475 阅读 · 0 评论 -
作业4-8-2:使用shell命令操作HDFS文件
1、执行下列shell命令操作HDFS文件,并截图提交。(1)执行HDFS帮助命令(2)建立当前账户对应的目录(3)在当前账号目录下新建一个以自己姓名拼音命名的文件夹。(例如:宋曼,建立文件夹名为“songman”)(4)在本地HOME下新建2个文件“s.txt”和“m.txt”(5)将本地文件“s.txt”和“m.txt”上传到HDFS中以自己姓名拼音命名的文件夹中注意:以上步骤请全部截图上传。正确答案:我的答案:2、执行下列shell命令操作HDFS文件,并截原创 2021-04-08 10:39:52 · 1685 阅读 · 0 评论 -
作业4-8-1:hadoop伪分布配置
关于Hadoop2.5.0伪分布式的环境搭建1、请将hadoop伪分布配置成功的结果截图提交。正确答案:我的答案:原创 2021-04-08 10:33:37 · 87 阅读 · 0 评论 -
安装包:Ubuntu64位操作系统11G
Ubuntu64位操作系统(解压即可用vmware打开)链接:https://pan.baidu.com/s/1bFgIjb8p9BbUFP568fNJSQ提取码:ks6p说明:文件较大,11G左右,建议百度网盘开通会员后下载原创 2021-04-08 10:22:05 · 201 阅读 · 0 评论 -
Hadoop:HDFS基础编程
目录具体流程:1.在Linux中安装Eclipse2.创建Eclipse项目3.编写java程序4.启动Hadoop5.执行Eclispse中的HDFSFileIfExist.java文件6.将java工程带出成jar包,直接通过终端命令执行7.关闭Hadoop具体流程:1.在Linux中安装Eclipse请查阅:Hadoop:Linux中安装Eclipse2.创建Eclipse项目(1)启动Eclipse,系统默认工作空间是“/home/hadoop..原创 2021-04-08 10:17:14 · 351 阅读 · 0 评论 -
Hadoop:在Linux中安装Eclipse
(1)安装Eclipse:打开Ubuntu系统的“Ubuntu软件中心”,在搜索框中搜索“eclipse”会自动出现Eclipse软件安装快捷按钮。(2)启动Eclipse点击Ubuntu系统的搜索按钮,如下图所示:输入“eclipse”查找安装的软件,点击启动即可。...原创 2021-04-08 10:08:12 · 300 阅读 · 0 评论 -
【2019全国职业技能大赛大数据技术】任务一:1-Hadoop 相关组件安装部署(15分_题目上)
前言:此博客专栏:一个陆续更新有关【‘全国职业技能大赛“大数据应用技术”】的专题,谢谢大家的支持,建议收藏以防迷路,加油共勉!环境要求: 编号 主机名 类型 用户 密码 1 master 主节点 root passwd 2 slave1 从节点 root passwd 3 slave2 从节点 root passwd 一、 Hadoop 部署 本环节需要使用 roo.原创 2020-11-21 20:40:26 · 2888 阅读 · 24 评论 -
HDFS命令:hdfs dfs
操作HDFS命令: hdfs dfs0.帮助命令hdfs dfs -helphdfs dfs -help put1.建立一个账号目录 -mkdir -phdfs dfs -mkdir -p /user/hadoop032.在当前账号下新建一个文件夹hdfs dfs -mkdir input3.上传本地文件到HDFS -puthdfs dfs -put 本地文件目录 HDFS的文件目录hdfs dfs -put ~/*.txt input4.查看HDFS文件中的文件和目...原创 2020-07-24 21:24:50 · 3817 阅读 · 1 评论 -
Oracle创建表、删除表、修改表(添加字段、修改字段、删除字段)语句总结
1、Oracle创建表: create table 表名 ( 字段名1 字段类型 默认值 是否为空 , 字段名2 字段类型 默认值 是否为空, 字段名3 字段类型 默认值 是否为空, ...... ); 创建一个user表: create table user ( id number(6) primary key, ...原创 2020-02-12 12:09:04 · 236 阅读 · 0 评论 -
Hadoop集群配置免密登录方法
Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法。一、Hadoop集群环境二、免密登录原理每台主机authorized_keys文件里面包含的主机(ssh密钥),该主机都能无密码登录,所以只要每台主机的authorized_keys文件里面都放入其他主机(需要无密码登录的主机)的ssh密钥就行了。三、实现方法1. 配置每个...原创 2020-02-12 11:57:58 · 1019 阅读 · 0 评论 -
Hadoop的安装与环境搭建
一、Hadoop的安装1. 下载地址:https://archive.apache.org/dist/hadoop/common/ 小编下载的是hadoop-2.7.3.tar.gz版本。2. 在/usr/local/ 创建文件夹zookeepermkdir hadoop3.上传文件到Linux上的/usr/local/source目录下3.解压缩运行如下命令...原创 2020-02-12 11:16:03 · 202 阅读 · 0 评论 -
大数据Hadoop&云计算Cloud Computing
云计算(Cloud Computing)是基于互联网的相关服务的增加、使用和交付模式,通常湾及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的种比喻说法,过去往往用云来表示网络,后来也用来表示联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源:广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式...原创 2020-01-26 14:12:04 · 509 阅读 · 0 评论 -
Hadoop:大数据的特征4V
(一)大数据特征 目前来说,大数据的特征还存在一定的争议。但按照普遍被接受的4V,即规模性(volume)、多样性(variety)、价值密度(value)和 高速性(velocity)进行描述。1:数据量大(volume) 非结构化数据的超大规模增长导致数据集合的规模不断扩大,数据单位已经从GB级到TB级再到PB级,甚至开始以EB和ZB来计数。2:类型繁多(...原创 2020-01-26 12:23:51 · 22782 阅读 · 1 评论 -
Hadoop架构
Hadoop是一个存储和处理大规模数据的开源软件框架,实现在大量计算机组成集群中海量数据进行分布式存储计算。Hadoop最初由Doug Cuting 根据Google的GFS和apReduce思想,采用Java语言开发而创建。 由于Hadoop采用了分布式存储方式和Java语言开发,这使得Hadoop可以都署在不同损系统平台和通用的计算机集群中。Hadoop中HDFS的数据管理能...原创 2020-01-17 19:16:58 · 591 阅读 · 0 评论 -
Hadoop生态系统(HDFS、ZooKeeper、MapRuduce、Pig....)
Hadop 生态系统 Hadoop是一个能够对大量数据进行分布式处理的软件框架,具有可靠、高效、可伸缩的特点。。Hadoop 2.0版本引入了HA (High Alability高可用性)和Yam (资源调度),这是与Hadoop 1.0的最大区别。Hadoop 1.0生态系统如图2-1所示。Hadoop 2.0主要由三部分组成: HDFS 分布式文件系统、MapRe...原创 2020-01-17 16:47:22 · 1599 阅读 · 0 评论