- 博客(6)
- 收藏
- 关注
RSS订阅原创 大数据技术原理与应用实验指南——Spark安装与编程实践1
在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本。注解：该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。②在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件（
2024-02-19 09:29:56
1017
1
原创 大数据技术原理与应用实验指南——MapReduce排序与英文去重操作
③ 点击界面底部的“Next>”按钮，为项目添加需要用到的JAR包，包含mapreduce和mapreduce/lib与common(目录下的hadoop-common-3.1.3.jar和haoop-nfs-3.1.3.jar)或者common/lib，还有client下所有的JAR包这些JAR包都位于Linux系统的Hadoop安装目录下，对于本教程而言，就是在“/usr/local/hadoop/share/hadoop”目录下。c) 编译实现降序代码：现在就可以编译上面编写的代码。
2024-02-19 08:56:46
1583
1
原创 大数据技术原理与应用实验指南——MapReduce词频统计
③ 点击界面底部的“Next>”按钮，为项目添加需要用到的JAR包，包含mapreduce和mapreduce/lib与common(目录下的hadoop-common-3.1.3.jar和haoop-nfs-3.1.3.jar)或者common/lib，还有client下所有的JAR包这些JAR包都位于Linux系统的Hadoop安装目录下，对于本教程而言，就是在“/usr/local/hadoop/share/hadoop”目录下。可以忽略该界面的信息，直接点击界面右下角的“OK”按钮。
2024-02-16 16:11:32
1298
1
原创 大数据技术原理与应用实验指南——HBase编程实践
（1） 熟练使用HBase操作常用的Shell命令。（2） 熟悉HBase操作常用的Java API。（1） 安装HBase软件。（2） 编程实现指定功能，并利用Hadoop提供的Shell命令完成相同的任务（实现增、删、改、查基本操作，统计表的行数，打印表的记录等操作）。FileZilla_3.17.0.0_win64_setup 这是一个用于将windows文件与linux互相传的软件-实验思维导图。
2024-02-16 15:53:35
1305
1
原创 大数据技术原理与应用实验指南——HDFS JAVA API编程实践
把配置文件放到当前Java工程目录下：需要把集群上的core-site.xml和hdfs-site.xml（这两个文件存在于/usr/local/hadoop/etc/hadoop目录下）放到当前工程项目下，即eclipse工作目录的bin文件夹下面。该命令中表示在HDFS中创建一个“/user/hadoop”目录，“–mkdir”是创建目录的操作，“-p”表示如果是多级目录，则父目录和子目录一起创建，这里“/user/hadoop”就是一个多级目录，因此必须使用参数“-p”，否则会出错。
2024-02-13 13:33:48
1464
原创 大数据技术原理与应用实验指南——Hadoop部署安装
如果是采用导入虚拟机镜像文件的方式安装Linux系统，则有可能出现两台机器的MAC地址是相同的，因为一台机器复制了另一台机器的配置，因此，需要改变机器的MAC地址，如下图所示（我的两个虚拟机Ubuntu为Master，Slave为Slave1），可以点击界面右边的“刷新”按钮随机生成 MAC 地址，这样就可以让两台机器的MAC地址不同了。在进行分布式配置时，可以保留localhost，让Master节点同时充当名称节点和数据节点，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。
2024-02-13 12:55:07
1565
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人