自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

todo-hadoop学习记录

菜鸟学hadoop

  • 博客(22)
  • 收藏
  • 关注

原创 centos挂载U盘

1.fdisk -l查看u盘挂载在哪个盘。比如:/dev/sdb12.在/mnt目录下建立usb文件夹:mkdir /mnt/usb3.挂载u盘到usb目录下:mount /dev/sdb1 /mnt/usb    挂载成功后就可以在/mnt/usb目录下操作u盘内的文件了4.拔出u盘之前要先取消挂载:umount /mnt/usb

2014-11-07 09:51:19 1122

原创 centos下启用未使用的硬盘空间

有时候虚拟机的硬盘空间可能会不足,我们需要额外增加一些,但是用vsphere编辑虚拟机增加硬盘空间,实际系统里面并不能直接生效。

2014-11-06 14:35:50 5538

原创 hive0.14-insert、update、delete操作测试

首先用最普通的建表语句建一个表:

2014-11-05 11:26:48 17700 2

原创 编译安装hive-0.14(过时)

据说hive-0.14可以进行insert,update了,

2014-10-31 16:30:56 2133

原创 git从远程clone其他分支

git clone从网上克隆下来的只有当前的分支,如果需要

2014-10-31 09:44:48 729

原创 STROM简介

STORM就像hadoop上的mapreduce一样是一种计算框架:    在hadoop上运行的是"Mapreduce jobs",在Storm上运行的是"topologies",与MapReduce job不一样的是:"topologies"永远不会结束运行(直到你杀死它)Strom集群上有两种节点:"master node" 以及"worker nodes".    ma

2014-10-29 17:17:04 711

原创 指定执行jar包中的某个main

java -classpath XXXX.jar 类的全路径

2014-10-29 17:04:58 1308

原创 vSphere复制虚拟机

进入数据存储浏览器后新建文件夹-->复制之前的虚拟机内的文件,右键.vmx文件->添加到清单-------------------收工

2014-10-29 17:02:52 636

原创 hadoop打成jar包放到服务器上运行问题集

有时候需要在某台服务器上运行本地的mapreduce任务,可以

2014-10-29 16:50:26 3309

原创 hadoop-2.2.0警告 (Unable to loadnative-hadoop library for your platform... using ...)

hadoop-2.2.0 配置完成,但是运行hadoop老是警告:WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicableWARN util.NativeCodeLoader: Unable

2014-05-12 15:07:50 690

转载 hadoop2.2.0编译--错误解决办法(转)

[INFO] ------------------------------------------------------------------------[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc (compile-protoc) on project hadoop-co

2014-05-12 14:23:14 1416

原创 hadoop-2.2.0安装警告 (ssh: Could not resolve hostname warning)

warning:: ssh: Could not resolve hostname warning:: Name or service not knownHotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known-c: Unknown cipher type 'cd'It's: ssh

2014-05-12 10:22:33 2631

原创 hive与hbase整合

参考博客:http://blog.csdn.net/daniel_ustc/article/details/12795627

2014-05-09 16:55:26 584

转载 安装MySQL (转)

安装MySQL sudo apt-get install mysql-server 这个应该很简单了,而且我觉得大家在安装方面也没什么太大问题,所以也就不多说了,下面我们来讲讲配置。 配置MySQL 注意,在Ubuntu下MySQL缺省是只允许本地访问的,如果你要其他机器也能够访问的话,那么需要改变/etc/mysql/my.cnf配置文件了!下面我们一步步地来:

2014-04-29 16:22:54 474

转载 正则表达式:Pattern类与Matcher类详解(转)

一、捕获组的概念捕获组可以通过从左到右计算其开括号来编号,编号是从1 开始的。例如,在表达式 ((A)(B(C)))中,存在四个这样的组:1 ((A)(B(C)))2 (A)3 (B(C))4 (C)组零始终代表整个表达式。 以 (?) 开头的组是纯的非捕获 组,它不捕获文本,也不针对组合计进行计数。与组关联的捕获输入始终是与组最近匹配的子序列。如果由于量化

2014-04-29 09:37:44 543

转载 Solr删除所有索引(转)

1删除制定ID的索引java -Ddata=args -Durl=http://localhost:8081/apache-solr-test/core0/update -jar post.jar "05138022"2.删除查询到的索引数据java -Ddata=args -Durl=http://localhost:8081/apache-solr-test/core0

2014-04-24 17:30:52 814

转载 关于solr schema.xml 和solrconfig.xml的解释 (转)

一、字段配置(schema)schema.xml位于solr/conf/目录下,类似于数据表配置文件,定义了加入索引的数据的数据类型,主要包括type、fields和其他的一些缺省设置。1、先来看下type节点,这里面定义FieldType子节点,包括name,class,positionIncrementGap等一些参数。name:就是这个FieldT

2014-04-24 12:38:34 516

转载 训练数据,验证数据和测试数据的概念(转)

训练数据,验证数据和测试数据一般做预测分析时,会将数据分为两大部分。一部分是训练数据,用于构建模型,一部分是测试数据,用于检验模型。但是,有时候模型的构建过程中也需要检验模型,辅助模型构建,所以会将训练数据在分为两个部分:1)训练数据;2)验证数据(Validation Data)。验证数据用于负责模型的构建。典型的例子是用K-Fold Cross Validation裁剪决策树,求出

2014-04-18 16:40:38 3301

转载 kettle使用命令行运行任务(转)

使用资源库(repository)登录时,默认的用户名和密码是admin/admin当job是存放在资源库(一般资源库都使用数据库)中时,使用Kitchen.bat执行job时,需使用如下的命令行:Kitchen.bat /rep kettle /user admin /pass admin /dir job目录 /job job名当job没有存放在资源库而存放在文件系

2014-04-16 16:45:42 1726

原创 mahout-example中kmeans详解(1)宏观上了解kmeans源码

作为熟悉mahout中算法的第一步,

2014-04-10 10:41:08 1551

转载 ubuntu 下安装maven+eclipse环境

1.安装maven,解压至/usr/lib/apache-maven-3.2.1

2014-04-10 08:56:55 998

转载 ubuntu 下配置jdk

第一步:下载jdk,我用的是

2014-04-09 13:38:31 454

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除