00000

0403
整理了每次打开虚拟机ubuntu16.04常遇问题及解决办法
记录了一些安装包的安装地址，打开命令，省的每次现去找地址比较浪费时间。

1.虚拟机无法复制拷贝
安装vmtools，通过命令行升级到最高版本
虚拟机安装和卸载VMtools
https://blog.csdn.net/hxp1994/article/details/107291735/ config

https://www.cnblogs.com/iBoundary/p/12653207.html

2.虚拟机打开没有网络怎么办
关机，编辑-虚拟网络编辑器-恢复默认设置，再开机
3.hadoop配置文件地址
/usr/local/hadoop/etc/hadoop
一定要先进入文件地址cd /usr/local/hadoop，再open in Terminal
打开hadoop
./sbin/start-dfs.sh

cd /usr/local/hadoop
./sbin/start-dfs.sh

cd /usr/local/hbase
./bin/start-hbase.sh

bin/stop-hbase.sh

cd /usr/local/hadoop
./sbin/stop-dfs.sh

关闭hadoop
./sbin/stop-dfs.sh
访问 Web 界面 http://localhost:50070 查看

4.eclipse存放地址/usr/lib/eclipse
因为eclipse没有办法设置桌面icon，打开eclipse命令：/usr/lib/eclipse/eclipse

5. 运行Hadoop伪分布式实例
   http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

6. 使用Eclipse编译运行MapReduce程序
   http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
   在 Eclipse 中创建 MapReduce 项目过程有图解

7.查看 HDFS 中的文件列表./bin/hdfs dfs -ls input
./bin/hdfs dfs -rm -r output # 删除 output 文件夹
每次run之前都要执行删除output

8.在eclipse时经常鼠标点不动然后灰屏
除了等没有别的招

9.上次未运行出来的示例程序wordcount已经运行成功

10.进行编码先读取input文件，识别出输入数据的格式进行比较
上github搜索了一下，没找到合适的代码，试了下Windows下的Eclipse不能建立hadoop项目，参考上学期的实验六，MapReduce实验手册，需要进行Maven仓库安装，将IDEA的构建和运行托管到maven下面，从而实现在windows下编码，与华为云的hadoop进行连接，但我觉得进行这个尝试意义不大。我想到了我的《MapReduce2.0源码分析与实战编程》，第2章 大象的肚子—HDFS 文件系统详解，有HDFS 接口使用详解，于是正在阅读当中。

11.困难就是代码具体怎么实现，之前没有系统地学过java，所以这次的编程要学一下。

public class ToolRunnerTest extends Configured implements Tool{
//继承类
@override
public int run (string [ ] args ) throws Exception {
//驱动方法
configuration conf = getConf ();
//获取configuration实例
Job job = new Job (conf) ;
//创建任务实例
job.setJarByClass (getClass ( ) ) ;
//创建工作类
FileSystem fs = Filesystem.get (conf) ;
/1获取环境变量
fs.delete(new Path ( “out”) , true) ;
//删除已存在的目录
FileInputFormat.addInputPath(job,new Path ( “sample.txt”) );
//建立输入文件路径
FileoutputFormat.setoutputPath(job,new Path ( “out”));
//建立输出文件路径
job.setMapperClass (TxtCounter.TxtMapper.class); / / Mapper工作类
job.setReducerclass(TxtCounter.TxtReducer.class);//Reducer类
job.setoutputKeyClass (Text.class) ;//设置输出中键的类型
job.setoutputvalueclass(Intwritable.class);//设置输出中值的类型job.waitForCompletion (true) ;
//开始程序运行
return 0;

0410
将来自hbase和key-value不同数据源的数据进行异构处理
一、算法流程

1. 在Hadoop上安装HBase，使用Eclipse编写java程序，来对HBase数据库进行增删改查等操作。（有示例代码但运行出错误报告）
2. 对HBase数据库创建表写入数据。（如果运行不出来我就通过shell命令建表，数据量少的话shell比较直接简单）
3. 写一份字典key-value格式的input，通过eclipse编译运行MapReduce程序，处理input文件中的字符串，提取行键，和value，存到类里。（这部分需要自定义Map类，Map方法，是实现的重点）
   4.读取HBase数据库中的数据，将其存入类里。（同3）
   5.进行数据分组与整合。（自定义分组方法，是实现的重点）

二、本周的进度
1.阅读林子雨老师的示例WordCount代码，因为虚拟机不能安装中文输入法，在自己的电脑里做好注释。

2.发现虚拟机vmtools不好使，无法实现虚拟机与主机间的文字复制，文件复制
花费两天时间仍然修不好
解决办法在主机上将代码复制到CSDN进行发布，然后虚拟机访问网址进行粘贴

3.开始在hadoop上安装hbase，运行代码，出现错误报告，运行之前的项目发现原来运行成功的项目又出现了问题。进行调试。

三、毕业论文进度要求
4月17代码跑出来
4月22.23号论文交给老师
注意论文查重
优秀论文同学。第一轮不通过参加第二轮答辩，董老师把关

论文结构LaTeX模板
1.引言
2.相关工作，算法方面的相关工作，不要有Hadoop整段描述，MapReduce工作机制，结合我的例子，这个例子的shfflue是什么意思，结合例子画图，例子怎么map的reduce的
3.系统设计和算法设计
4.算法分析和设计
5.实验 第一步是环境配置，还要有截图，hbase屏幕截图，key-value运行截图，用视图，行键，列族
6.总结与展望
override
public int getPartition (Text key，Scorewritable value，int numPartitions){
llll分组方法
if(value.first.toString ().equals (“chn” ) )
/l判断条件1
return 1;
else if(value.first.toString ( ) .equals ( “mth” ) )
//判断条件2
return 2;
else return 0;
//默认分组条件

输入：
学生姓名 学生科目 学生成绩
Hbase格式存储
tom math 69
lucy chn 58
jone math 74
snow chn 98
tom eng 52
lucy math 54

Key-Value格式存储
jone eng 14
snow eng 23
tom chn 45
lucy eng 78
jone chn 19
snow math 97

异构集成——达到对学生成绩的整理与分组
最后输出output里有4个文件
tom math 69
tom eng 52
tom chn 45

lucy chn 58
lucy eng 78
lucy math 54

jone math 74
jone eng 14
jone chn 19

snow chn 98
snow eng 23
snow math 97

create ‘student’,‘Sname’,‘course’,‘score’
put ‘student’,‘001’,‘Sname’,‘tom’
put ‘student’,‘001’,‘course:math’,‘69’
put ‘student’,‘002’,‘Sname’,‘lucy’
put ‘student’,‘002’,‘course:chn’,‘58’
put ‘student’,‘003’,‘Sname’,‘jone’
put ‘student’,‘003’,‘course:math’,‘74’
put ‘student’,‘004’,‘Sname’,‘snow’
put ‘student’,‘004’,‘course:chn’,‘98’
put ‘student’,‘001’,‘course:eng’,‘52’
put ‘student’,‘002’,‘course:math’,‘54’