笔记
文章平均质量分 67
小石小石摩西摩西
欢迎来到我的菜园子。
展开
-
大数据平台搭建期末复习题(选择)0112
下面哪个程序负责 HDFS 数据存储。secondaryNameNodeNameNodeJobtrackerDatanode(答案)HDFS是基于流数据模式访问和处理的超大文件的需求而开发的,适合读写的任务是?多次写入,少次读一次写入,少次读一次写入,多次读(答案)多次写入,多次读以下哪一项属于非结构化数据。财务系统数据日志数据视频监控数据(答案)企业ERP数据...转载 2021-01-12 22:30:00 · 9006 阅读 · 0 评论 -
搭建伪分布式_笔记
1).配置本机免密登录SSH生成密钥ssh-keygen -t rsa拷贝密钥ssh-copy-id master测试免密登录ssh masterexit 2).解压缩hadoop-2.7.4.tar.gz tar -zxvf hadoop-2.7.4.tar.gz -C /optcd /optlsmv hadoop-2.7.4/ hadoop3).配置环境变量...原创 2020-10-09 12:16:00 · 4646 阅读 · 0 评论 -
hadoop_worddistinct_1030学习笔记
.xml 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schema...原创 2020-10-30 14:48:00 · 5713 阅读 · 0 评论 -
hadoop_wordcount_1027
MyMap 1 package s26; 2 3 import org.apache.hadoop.io.IntWritable; 4 import org.apache.hadoop.io.LongWritable; 5 import org.apache.hadoop.io.Text; 6 import org.apache.hadoop.mapreduce.Mapper;...原创 2020-10-30 15:06:00 · 5693 阅读 · 0 评论 -
6_java_maven
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave...原创 2020-11-06 08:20:00 · 5667 阅读 · 0 评论 -
hadoop_average_1110
.xml 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schema...原创 2020-11-10 17:47:00 · 5661 阅读 · 0 评论 -
hadoop_topn_1120
.xml 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schema...原创 2020-11-20 15:08:00 · 5699 阅读 · 0 评论 -
hive_1218
启动hadoop集群1 start-dfs.sh2 start-yarn.sh3 jps查找hive压缩包1 find / -name *hive*.tar.gz解压hive压缩包到/opt目录下1 tar -zxvf /root/experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/2 # 查看是否解压成...原创 2020-12-18 12:01:00 · 5763 阅读 · 0 评论 -
spark_0108
Spark单节点部署1. 找到安装文件1 find / -name spark*.tgz2. 解压文件到指定目录1 tar -zxvf ~/experiment/file/spark-2.2.0-bin-hadoop2.7.tgz -C /opt3. 重命名1 mv /opt/spark-2.2.0-bin-hadoop2.7 /opt/spark4. 配置环境变...原创 2021-01-08 13:05:00 · 6060 阅读 · 0 评论 -
Hive_1222_topn
1.创建表(根据文本内容)1 create table mytable(id int,name string,gender string,age int) row format delimited fields terminated by '\t';2 #验证操作3 dfs -ls /uesr/hive/warehouse;4 #创建表到指定位置5 create table tb2(...原创 2020-12-22 13:07:00 · 5705 阅读 · 0 评论 -
hadoop_wordcount_1023
package s26;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;impo...原创 2020-10-23 15:18:00 · 5678 阅读 · 0 评论