大数据实验配置

《大数据技术基础》课程实验大纲

实验课名称：大数据技术基础
英文名称： Big Data Technology Basics
课程性质： 选修课
课程编号： 1521101040
适用专业： 软件工程
学时学分： 2/2
大纲主笔： 王艳
实验指导书：林子雨.《大数据技术原理与应用:概念、存储、处理、分析与应用》.人民邮电出版社,2015-8

一、实验课程的任务与要求
通过实践掌握大数据的关键技术如Hadoop、MapReduce的部署和应用。
二、实验设备及要求
（1）有快速的较高性能微机和较大内存与硬盘的设备；
（2）有相应的配套软件：Hadoop；
（3）有基本的图形I/O设备；
三、实验考核
（1）实验报告要求：
实验的最后阶段是实验总结，即对实验结果进行整理、分析实验现象、撰写实验报告。每位实验参与者都要独立完成一份实验报告，实验报告的编写应持严肃认真、实事求是的科学态度。
实验报告的一般格式如下：
① 实验名称、实验目的、实验要求、实验内容；
② 实验题目、设计原理与思想、对应源程序清单；
③ 实验运行结果（最好是屏幕截图），并用理论知识对实验结果进行分析总结，得出明确的结论。
④ 对程序运行过程中出现的问题进行分析、讨论，写出心得体会，并对实验提出自己的建议和改进措施。
⑤ 实验报告应写在一定规格的报告纸上，保持整洁。
⑥ 每次实验每人独立完成一份报告，按时送交指导教师批阅。
（2）考核方式：
实验课成绩根据实验报告、实验检查及实验课表现综合确定，实验课成绩占课程平时成绩20%-40%。
四、课程教材及参考书
教 材：林子雨.《大数据技术原理与应用:概念、存储、处理、分析与应用》.人民邮电出版社,2015-8
参考书：赵刚.《大数据:技术与应用实践指南》. 电子工业出版社, 2013-10

五、实验项目与内容提要
序号 实验项目 内容提要 实验性质 实验
时数 每组人数 备注
1 Hadoop安装使用 在PC机上以伪分布式模式安装Hadoop，访问Web界面查看Hadoop信息，运行wordcount实例。 2
2 HDFS编程实践 1、理解HDFS在Hadoop体系结构中的角色。
2、熟练使用HDFS操作常用的Shell命令。
3、熟悉HDFS操作常用的JavaAPI。 2
3 HBase编程实践 1、理解HBase在Hadoop体系结构中的角色。
2、熟练使用HBase操作常用的Shell命令。
3、熟悉HBase操作常用的JavaAPI。 2
4 MapReduce编程实践 1、通过实验掌握基本的MapReduce编程方法。
2、实现统计HDFS系统中多个文本文件中的单词出现频率。 2

关于实验的配置内容如下：

sudo vim /etc/bash.bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export PATH=${JAVA_HOME}/bin:$PATH
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH="$HADOOP_HOME/share/hadoop/common/hadoop-common-2.9.1.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.9.1.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar"

sudo vim /etc/profile

JAVA_HOME=/usr/local/java/jdk1.8.0_191
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH
export PATH=$PATH:/usr/local/hbase/bin
export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_HOME=/usr/local/hadoop
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

cd /usr/local/hadoop/etc/hadoop
sudo vim hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"

sudo vim core-site.xml

<configuration>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop</value>
            <description>Abase for other temporary directories.</description>
    </property>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
    </property>
</configuration>

sudo vim hdfs-site.xml

<configuration>
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/dfs/data</value>
    </property>
</configuration>

sudo vim yarn-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_191

sudo vim yarn-site.xml

<configuration> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>127.0.0.1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>127.0.0.1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>127.0.0.1:8031</value> 
</property> 
</configuration>

cd /usr/local/eclipse

sudo vim eclipse.ini

cd /usr/local/hbase/conf
sudo vim hbase-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export HBASE_MANAGES_ZK=true

sudo vim hbase-site.xml

<configuration>
<property>
        <name>hbase.rootdir</name>
       <value>hdfs://localhost:9000/hbase</value>
	</property>
   <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>
</configuration>