- 博客(5)
- 收藏
- 关注
RSS订阅原创 MapReduce实验：单词计数
新建工程MR_Example1 MapReduce工程，主要编写Map和Reduce类，其中Map过程需要继承org.apache.hadoop.mapreduce包中Mapper类，并重写其map方法；其中“yarn”为命令，“jar”为命令参数，后面紧跟打包后的代码地址，“com.xunfang.mr”为包名，“WordCount”为主类名，“/word.txt”为输入文件在HDFS中的位置，/wc_output为输出文件在HDFS中的位置。//指定Map类输出的<K,V>，K类型。
2023-09-18 22:31:14
407
原创 Hadoop实验-部署Yarn集群
首先，在master机上，将文件“ /opt/module/hadoop-2.6.5/etc/hadoop/mapred-site.xml.template”重命名为“ /opt/module/hadoop-2.6.5/etc/hadoop/mapred-site.xml”。NodeManager是每个节点上的资源和任务管理器，它是管理这台机器的代理，负责该节点程序的运行，以及该节点资源的管理和监控。使学生了解Yarn框架，以及Yarn运行流程，理解Yarn作为Hadoop生态中的资源管理器的意义。
2023-09-18 22:30:20
103
原创 Hadoop实验-读写HDFS文件
如果将Java执行环境比喻为操作系统，如果设置Path变量是为了让操作系统找到指定的工具程序(以Windows来说就是找到.exe文件)，则设置Classpath的目的就是让Java执行环境找到指定的Java程序(也就是.class文件)。为了节约时间，将更多的精力用于实现读写HDFS文件，在大数据实验一体机的相关下载页面中已经提供了2.6.5版本的hadoop插件和相关的hadoop包下载，实验人员可以直接下载这些插件，快速在Eclipse中进行安装，开发自己的hadoop程序。classpath1;
2023-09-18 22:13:17
173
原创 Hadoop实验-部署HDFS
之后基于HDFS集群，在HDFS上面创建数据目录，上传数据操作。编辑文件“/opt/module/hadoop-2.6.5/etc/hadoop/slaves”,将slaves的hostname主机名称嵌入此文件里。hadoop fs -tail /user/trunk/test.txt #查看/user/trunk/test.txt文件的最后1000行。hadoop fs -get /user/trunk/test.txt #获取/user/trunk/test.txt文件。
2023-09-18 22:08:47
308
原创 Hadoop基础实验准备
接收者只有用发送者的公钥才能解密被加密的摘要信息，然后用HASH函数对收到的原文产生一个摘要信息，与解密的摘要信息对比。如果相同，则说明收到的信息是完整的，在传输过程中没有被修改，否则说明信息被修改过，因此数字签名能够验证信息的完整性。Server 端接收到 Client 的连接请求后，会在 authorized_keys 中匹配到 Client 的公钥 pubKey，并生成随机数R，用 Client 的公钥对该随机数进行加密得到 pubKey®，然后将加密后信息发送给 Client。
2023-09-18 21:45:19
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人