大数据
文章平均质量分 70
大数据
不自律的自律_input
踮起脚尖看世界!
展开
-
hive安装报错如何解决?
问题:SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/apps/hive/lib/hive-jdbc-2.1.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/apps/hive/lib/log4j-slf4j-impl-2.4.1.jar!/o原创 2021-08-04 12:20:14 · 155 阅读 · 0 评论 -
hadoop生态下hive安装过程
Hive的安装部署1.首先在Linux本地,新建/data/hive1目录,用于存放所需文件(1)mkdir -p /data/hive1(2)切换目录到/data/hive1下,上传apache-hive-2.1.0-bin.tar.gz和mysql-connector-java-5.1.40-bin.jar2.将/data/hive1目录下的hive-1.1.0-cdh5.4.5.tar.gz,解压缩到/apps目录下。tar -xzvf apache-hive-2.1.0-bin.tar.g原创 2021-08-04 12:19:05 · 263 阅读 · 0 评论 -
MapReduce的统计和排序功能
实验材料及说明现有某电商网站用户对商品的收藏数据,记录了用户收藏的商品id以及收藏日期,文件名为buyer_favorite。buyer_favorite包含:买家id,商品id,收藏日期这三个字段,数据以“\t”分割,样本数据及格式如下:买家ID 商品ID 收藏日期10181 1000481 2010-04-04 16:54:3120001 1001597 2010-04-07 15:07:5220001 1001560 2010-04-07 15:08:272原创 2021-07-18 09:31:39 · 1043 阅读 · 0 评论 -
Hive的JDBC连接和数据查询功能
实验材料及说明在Ubuntu系统的/学号(每个人之间的学号)/salesInfo目录下,有买家的购买记录文件Sales,该文件记录了买家的id,购买商品的id以及购买日期,文件为名为Sales。Sales包含:买家ID、商品ID、购买日期三个字段,数据以“\t”进行分割,样本数据及格式如下:买家ID 商品ID 购买日期1000181 1000481 2021-04-04 16:54:312000001 1001597 2021-04-07 15:07:522000001原创 2021-07-18 09:24:16 · 1098 阅读 · 0 评论 -
HBase的安装、写入和查询操作
实验材料及说明在Ubuntu系统的/学号(每个人之间的学号)/salesInfo目录下,有买家的购买记录文件Sales,该文件记录了买家的id,购买商品的id以及购买日期,文件为名为Sales。Sales包含:买家ID、商品ID、购买日期三个字段,数据以“\t”进行分割,样本数据及格式如下:买家ID 商品ID 购买日期1000181 1000481 2021-04-04 16:54:312000001 1001597 2021-04-07 15:07:522000001原创 2021-07-18 09:18:05 · 817 阅读 · 0 评论 -
MapReduce统计排序和HDFS的读写
实验材料及说明在Ubuntu系统的/学号(每个人之间的学号)/salesInfo目录下,有买家的购买记录文件Sales,该文件记录了买家的id,购买商品的id以及购买日期,文件为名为Sales。Sales包含:买家ID、商品ID、购买日期三个字段,数据以“\t”进行分割,样本数据及格式如下:买家ID 商品ID 购买日期1000181 1000481 2021-04-04 16:54:312000001 1001597 2021-04-07 15:07:522000001原创 2021-07-18 09:08:08 · 920 阅读 · 1 评论 -
虚拟机黑屏解决方法
1.以管理员身份打开cmd,输入netsh winsock reset2.重启电脑即可解决。原创 2021-07-01 10:19:03 · 287 阅读 · 0 评论 -
虚拟机中安装Eclipse并测试是否安装成功
一、从镜像光盘中解压eclipse-jee-photon-R-linux-gtk-x86_64.tar.gz至/usr/local目录下sudo tar –zxf eclipse-jee-photon-R-linux-gtk-x86_64.tar.gz –C /usr/local授权:sudo chown -R hadoop /usr/local/eclipse将个光盘中eclipse 中的hadoop-eclipse-plugin-2.6.0.jar 拷贝到解压好的 eclipse plugi原创 2021-06-28 16:26:11 · 2020 阅读 · 0 评论 -
hdaoop下HDFS操作
一、HDFS操作常用Shell命令1.启动Hadoop cd /usr/local/hadoop ./sbin/start-dfs.sh hdfs dfs –mkdir -p /user/hadoop2.目录操作查看命令hdfs dfs –ls ——查看HDFS的所有文件hdfs dfs –ls 目录名 ——查看指定目录下的文件创建目录hdfs dfs –mkdir input ——在当前目录下新建input目录删除目录hdfs dfs –rm -r input ——删除in原创 2021-06-28 16:21:06 · 205 阅读 · 1 评论 -
安装虚拟机及Linux常用操作命令
一、实验环境Windows10 ,VMware Workstation 12.1.1 ,Ubuntu kylin 16.04二、实验内容与完成情况1、新建用户Hadoop(1)安装时新建(2)使用命令(用户名hadoop已经存在)sudo useradd –m hadoop –s /bin/bashsudo passwd hadoopsudo adduser hadoop sudo 2、sudo命令这是Linux的管理命令sudo useradd –m hadoop –s /b原创 2021-06-28 16:12:59 · 203 阅读 · 0 评论 -
MapReduce的数据去重功能
实验材料及说明现有某电商网站用户对商品的收藏数据,记录了用户收藏的商品id以及收藏日期,文件名为buyer_favorite。buyer_favorite包含:买家id,商品id,收藏日期这三个字段,数据以“\t”分割,样本数据及格式如下:买家ID 商品ID 收藏日期10181 1000481 2010-04-04 16:54:3120001 1001597 2010-04-07 15:07:5220001 1001560 2010-04-07 15:08:272原创 2021-06-28 16:04:48 · 1580 阅读 · 1 评论 -
Hadoop安装配置,并使用Hadoop计算圆周率测试Hadoop是否安装成功
一、实验目的掌握如何安装、配置和运行Hadoop,并使用Hadoop计算圆周率测试Hadoop是否安装成功。二、实验环境(1)Linux Ubuntu 16.04(2)jdk-8u162-linux-x64(3)hadoop-2.7.1三、实验原理或流程Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多的小的工作单元,并把这些单元放到任何集群节点上执行。在MapReduce中,一个准备提交执行的应用程序称为“原创 2021-06-28 15:57:54 · 3353 阅读 · 0 评论 -
编写MapReduce程序,统计每个买家收藏商品数量,实现统计排序功能
实验材料及说明在Ubuntu系统的/学号(每个人用自己的学号)/salesInfo目录下,有买家的购买记录文件Sales,该文件记录了买家的id,购买商品的id以及购买日期,文件为名为Sales。Sales包含:买家ID、商品ID、购买日期三个字段,数据以“\t”进行分割,样本数据及格式如下:买家ID 商品ID 购买日期1000181 1000481 2021-04-04 16:54:312000001 1001597 2021-04-07 15:07:522000001原创 2021-06-28 15:40:46 · 2973 阅读 · 0 评论 -
VMware Workstation下新建用户及Linux常用操作命令
一、实验环境Windows10 ,VMware Workstation 12.1.1 ,Ubuntu kylin 16.04二、实验内容与完成情况1、新建用户Hadoop(1)安装时新建(2)使用命令(用户名hadoop已经存在)sudo useradd –m hadoop –s /bin/bashsudo passwd hadoopsudo adduser hadoop sudo2、sudo命令这是Linux的管理命令sudo useradd –m hadoop –s /bin原创 2021-06-11 16:11:43 · 5652 阅读 · 1 评论