hadoop
Em_dark
这个作者很懒,什么都没留下…
展开
-
hadoop的伪分布环境安装
作为一个hadoop的初学者,我觉得写一篇入门级别的hadoop环境搭建分布很有必要,记录一下.另外本人第一次书写这样的blog.希望各路大神多多指教.首先,准备好相关系统软件vmware14 (大小140M)centos7(大小4G)hadoop-0.20.2 (大小42.5M)jdk-7u25-linux-x64.tar (大小91M)然后安装vmware(详细过程不多讲) 安装ce原创 2016-12-06 10:00:37 · 356 阅读 · 0 评论 -
HBASE笔记
big table 三个列.group by 很麻烦查询,连接(反复)很快 学生key attribute value1 name jamesHBASE 逻辑模型以表的形式存放数据行键 时间戳 列族(1,2,3,4…)(列族需要提前定义)更新是插入一个新行, 删除是打上一个删除标记.HDFS 不能修改,追加也很困难, 所以hbase 会是这样原创 2016-12-28 18:27:19 · 353 阅读 · 0 评论 -
相关笔记
unix vmware 查看共享文件夹的内容 , /mnt/hgfs/window目录共享的文件夹yum install java 后的安装路径是 /usr/lib/jvm/java-1.8.0/jre/bin编辑配置文件 vi /etc/profile安装完eclipse 查找到hadoop/contrib/hadoop plugin把这个复制到eclipse的plugin原创 2016-12-26 13:29:19 · 357 阅读 · 0 评论 -
pig
是hadoop 的客户端,相当于 oracle 和plsql方便不熟悉java的用户可以排序,过滤,求和,聚组 pig latin 轻量级脚本语言sqlpig latinmap-reducecluster下载并解压pig mirror.bjtu.edu.cn/apache/pig下载完成后解压 配置Linux 系统环境变量 vi ~/.bash_profile vi /etc/profi原创 2017-01-04 14:07:46 · 444 阅读 · 0 评论 -
HIVE笔记
cat input/ncdc/sample.txt |ch02/src/main/ruby/max_temperature_map.rb|\sort |ch02/src/main/ruby/max_temperaterue_reduce.rbhadoop jar $HADOOP_INSTALL/conrib/streaming/hadoop-*.streaming.jar\ -input inpu原创 2017-01-06 11:30:15 · 316 阅读 · 0 评论