熟悉常用的HBase操作，编写MapReduce作业

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：

学生表（Student）（不包括最后一列）

学号（S_No）	姓名（S_Name）	性别（S_Sex）	年龄（S_Age）	课程（course）
2015001	Zhangsan	male	23
2015003	Mary	female	22
2015003	Lisi	male	24	数学（Math）85

 

***创建数据表studen
   其中info,course分别为表studen的两个列族，
info存储学生个人信息——学号、姓名、性别、年龄
course 则存储课程信息***
create 'studen','info','course'



接着添加学号为2015001的学生信息
put 'studen','001','info:S_No','2015001'
此行代码插入一个行健为001的数据，且在列族info中添加一个列S_No,值为2015001。同时由于Hbase一次只能添加一个列数据，所以下面继续添加2015001其他信息
put 'studen','001','info:S_Name','Zhangsan'
put 'studen','001','info:S_Sex','male'
put 'studen','001','info:S_Age','23'

  

2. 用Hadoop提供的HBase Shell命令完成相同任务：

• 列出HBase所有的表的相关信息；list
• 在终端打印出学生表的所有记录数据；
• 向学生表添加课程列族；
• 向课程列族添加数学列并登记成绩为85；
• 删除课程列；
• 统计表的行数；count 's1'
• 清空指定的表的所有记录数据；truncate 's1'

 

list
scan 'Student'
alter 'Student', NAME=>'S_Course'
put 'Student', '001', 'S_Course:math', '85'
alter 'Student', {NAME=>'S_Course', METHOD=>'delete'}
count 'Student'
truncate 'Student'

 

3. 用Python编写WordCount程序任务

程序	WordCount
输入	一个包含大量单词的文本文件
输出	文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔

1. 编写map函数，reduce函数
2. 将其权限作出相应修改
3. 本机上测试运行代码
4. 放到HDFS上运行
5. 下载并上传文件到hdfs上
6. 用Hadoop Streaming命令提交任务

1. 编写map函数，reduce函数
   1. 

      #!/usr/bin/env python
      import sys
      for i in stdin: i = i.strip() words = i.split() for word in words: print '%s\t%s' % (word,1)

      
   2. 

      #!/usr/bin/env python
      from operator import itemgetter
      import sys current_word = None current_count = 0 word = None for i in stdin: i = i.strip() word, count = i.split('\t',1) try: count = int(count) except ValueError: continue if current_word == word: current_count += count else: if current_word: print '%s\t%s' % (current_word, current_count) current_count = count current_word = word if current_word == word: print '%s\t%s' % (current_word, current_count)

      
2. 将其权限作出相应修改

   1. chmod a+x /home/hadoop/mapper.py

3. 本机上测试运行代码

   1. echo "foo foo quux labs foo bar quux" | /home/hadoop/wc/mapper.py
      
      echo "foo foo quux labs foo bar quux" | /home/hadoop/wc/mapper.py | sort -k1,1 | /home/hadoop/wc/reducer.p

4. 放到HDFS上运行
5. 下载并上传文件到hdfs上
6. 用Hadoop Streaming命令提交任务

cd  /home/hadoop/wc
wget http://www.gutenberg.org/files/5000/5000-8.txt
wget http://www.gutenberg.org/cache/epub/20417/pg20417.txt

1. cd /usr/hadoop/wc hdfs dfs -put /home/hadoop/hadoop/gutenberg/*.txt /user/hadoop/input

 

转载于:https://www.cnblogs.com/verson/p/9011221.html