2016年03月_余音丶未散

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 hive与hbase整合

hive与hbase整合 hive操作hbase 整合hive与hbase的过程如下1．将文件/opt/modules/hbase-0.98.15-hadoop1/lib/hbase-0.90.4.jar 与/opt/modules/hbase-0.98.15-hadoop1/lib/zookeeper-3.4.6.jar拷贝到/opt/modules/hive-1.0.1/l

2016-03-31 16:10:54 617

原创 hive命令学习

Hive学习默认日志地址 /tmp/root(用户名)/hive.loghive -hiveconf hive.root.logger=DEBUG,console //重启调试。HIVE 基本操作 hive shell 新建表line_name,deal_yymmdd,deal_hh,count线路10,20150101,06,714线路10,20150101,07

2016-03-31 16:09:49 545

原创 hive安装

tar -zxvf /opt/softwares/apache-hive-1.0.1-bin.tar.gz -C /opt/modules/mv apache-hive-1.0.1-bin /opt/modules/hive-1.0.1vi /etc/profileexport HIVE_HOME=/opt/modules/hive-1.0.1export CLASSPA

2016-03-31 16:08:20 351

原创 Hbase学习，命令

Hbase学习启动./start-hbase.sh $hbase shell #启动hbase shell 光标在哪里删除键删哪里退出shell exit创建表 create '表名称', '列名称1','列名称2','列名称N'#创建一个新表studentcreate 'student','info'create 'test','data'create '

2016-03-31 16:02:21 433

原创 Hbase配置安装

tar -zxvf /opt/softwares/hbase-0.98.15-hadoop1-bin.tar.gz -C /opt/modules/ ctrl+backspace 回退Hbase的语句/etc/profile添加##HBASEexport HBASE_HOME=/opt/modules/hbase-0.98.15-hadoop1export PATH=$

2016-03-31 16:01:03 432

转载 hadoop shell命令大全

1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。

2016-03-31 10:01:08 971

原创 Hadoop常用笔记shell命令

esc :wq 保存退出 a 修改 ZZ退出 :q!不保存退出pwd 查看路径more 文件名查看文件cd xxx/ 进入当前目录的xxx下shutdown -h now 关机ifconfig 查看IP等相关信息Ctrl+Alt+F2 切换图像/命令行exit 切换用户 su 切换rootclear 清屏chown -R hadoop:hadoop /

2016-03-31 09:59:20 874

转载 HadoopJob监控

参考http://www.aboutyun.com/thread-7996-1-1.htmlhttp://www.aboutyun.com/thread-1812-1-1.htmlHadoop获取当前正在运作job数量的代码: // 我在这里只有一个Queue，名字叫做default，so，硬编码了。 Configuration con

2016-03-31 09:58:05 1002

原创 hadoop-1.2.1伪分布式安装

service iptables status 关闭防火墙service iptables statusservice iptables stopchkconfig iptables offmore /etc/sysconfig/selinux SELINUX=disabled 禁用SELINUXvim /etc/sysconfig/networks-scripts/i

2016-03-31 09:57:02 409

原创安装Ganglia监控hadoop

Ganglia安装安装Ganglia监控hadoopyum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig安装ganglia-gmetad 和 ganglia-webyum search gangliayum -y install

2016-03-31 09:55:47 632

原创 Flume安装与应用,日志收集保存

flume解压缩 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/modules/tar -zxvf apache-flume-1.6.0-src.tar.gz -C /opt/modules/src里面文件内容，覆盖解压后bin文件里面的内容cp -ri apache-flume-1.6.0-src/* apache-flume-1

2016-03-31 09:54:23 1073

转载 Eclipse常用快捷键

Eclipse常用快捷键1几个最重要的快捷键插件地址 http://download.eclipse.org/releases/helios 最后一个为版本号快速修正：Ctrl+1修正导入 Ctrl+Shift+O显示搜索对话框：Ctrl+H快速Outline：Ctrl+O 列出当前类中的所有方法及属性，你只需输入你想要查询的方法名打开资源：Ctrl+Sh

2016-03-31 09:53:25 360

原创 chukwa安装配置hadoop集群监控

chukwa安装配置集群监控tar -zxvf chukwa-0.6.0.tar.gz -C /opt/modules/设置/etc/profile参数vi /etc/profileexport CHUKWA_HOME=/opt/modules/chukwa-0.6.0export CHUKWA_CONF_DIR=$CHUKWA_HOME/etc/chukwaex

2016-03-31 09:52:17 926

原创 Ambari安装

Hadoop Ambari 安装1、下载repo http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/ambari-chap9-2.html 根据对应的系统下载相应的repo文件，并按要求拷贝到/etc相应的目录下2、安装epel仓库 yum i

2016-03-31 09:51:30 2092

原创 hadoop2.6伪分布式配置

软件的安装目录：/opt/modules/安装: 0）说明SSH本机免登陆密码ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys1、系统：CentOS 6.4 64位2、关闭防火墙和SELinuxservice iptables s

2016-03-31 09:49:50 451

原创 canopy算法优化kmean聚类及在mahout上实现

a,x两个矩阵 [,1] [,2] [1,] 1 1 [2,] 0 1 [3,] 0 0 [4,] 5 6 [5,] 6 5 [6,] 5 5 [7,] 10 2 [8,] 10 2 [9,] 11 3for(j in 1:nrow(a)

2016-03-29 17:58:22 1002

原创 matlab学习笔记

clear,clc %% 清理 % 注释clc清除命令窗口 clear清除工作空间的内容close all %% 关闭所有的figure窗口whos 列出当前工作空间中的变量及信息 who Ctrl+c：中断程序运行Esc或者Ctrl+u：清除一行ctrl+R，注释程序ctrl+T，取消注释ctrl+i 代码自动按照规则缩进(ctrl+all全选代码，然后在c

2016-03-29 17:54:09 847

转载 Elman反馈网络预测解决时间序列问题

Elman反馈网络预测解决时间序列问题% 清理close allclear,clc% 原始数据data =[0.4413 0.4707 0.6953 0.8133;... 0.4379 0.4677 0.6981 0.8002;... 0.4517 0.4725 0.7006 0.8201;... 0.4557 0.4790 0.7019

2016-03-29 17:53:00 3165 1

转载矢量量化神经网络,自组织竞争神经网络,自组织映射网络

矢量量化神经网络解决有监督的分类问题[x,t] = iris_dataset; % 加载数据，x为输入样本，t为期望输出rng(0)whosri=randperm(150); % 划分训练与测试集x1=x(:,ri(1:50));t1=t(:,ri(1:50));x2=x(:,ri(51:150));t2=t(:,ri(51:150));net = l

2016-03-29 17:51:42 1037

转载广义回归神经网络GRNN ,竞争神经网络,自组织映射神经网络

广义回归神经网络GRNN 函数逼近P = [1 2 3]; % 训练输入向量T = [2.0 4.1 5.9] % 训练输入的期望输出值newgrnn(P,T,.5) .4扩散速度net = newgrnn(P,T); % 设计GRNN网络x=[1.5,2.5]; % 测试输出。计算x=1.5和x=2.5的查找y=sim(net,x) % 测试结果竞争神

2016-03-29 17:49:59 2618

转载严格径向基网络RBF网络，概率神经网络PNN

严格径向基网络RBF网络ticP=-2:.2:2;rand('state',pi);T=P.^2+rand(1,length(P)); % 在二次函数中加入噪声net=newrbe(P,T,3); % newrbe(P,T)建立严格的径向基函数网络 3是径向基函数的扩散速度可任选默认1 net=newrb(P,T,0,0.6); 0是指定均放误差，0.6是径向基函数的扩散速度

2016-03-29 17:48:47 1867

转载 BP神经网络matlab实现

BP网络里采用的传递函数有:logsig(),tansig(),purelin();BP神经网络训练函数1. traingd:批梯度下降训练函数,沿网络性能参数的负梯度方向调整网络的权值和阈值.2. traingdm:动量批梯度下降函数,也是一种批处理的前馈神经网络训练方法,不但具有更快的收敛速度,而且引入了一个动量项,有效避免了局部最小问题在网络训练中出现.3. trai

2016-03-29 17:42:51 2970

转载线性神经网络与非线性神经网络，添加非线性成分后的线性神经网络用于求解异或逻辑

线性神经网络x=-5:5;y=3*x-7;randn('state',2); % 设置种子，便于重复执行y=y+randn(1,length(y))*1.5; % 加入噪声的直线plot(x,y,'o');P=x;T=y;lr=maxlinlr(P,'bias') % 计算最大学习率加入b偏置net=linearlayer(0,lr); % 用linearlayer

2016-03-29 17:38:28 907

转载单层感知器---二分类/线性可分

% 清理clear,clcclose all% 创建感知器net=newp([-20,20;-20,20],1);%定义输入训练向量P=[ -9, 1, -12, -4, 0, 5;... 15, -8, 4, 5, 11, 9];% 期望输出T=[0,1,0,0,0,1]% 训练net=train(net,P,T);% 输入训练数据仿真验证Y=sim

2016-03-29 17:36:53 3094