SandyHu88-CSDN博客

原创 hadoop 2.2.0 安装与测试

一、安装Centos6.3略二、安装JDK下面在Master节点中安装JDK，其他的节点按同样的方法安装JDK，当然也可以把Master中java文件夹复制到slaves节点中相应的目录，下面所有的操作都以root身份进行： 1、将下载的jdk-6u27-linux-i586.bin拷贝到Master节点的/usr/local/java目录下（先在/usr/local

2014-08-19 22:19:25 348

原创测试

[root@Master local]# tar -zxvf hadoop-2.2.0.tar.gz

2014-08-25 22:43:32 355

原创 Hadoop集群执行“Hadoop namen…

ERROR namenode.NameNode: java.io.IOException:Cannot create directory /export/home/dfs/name/currentERROR namenode.NameNode: java.io.IOException: Cannot remove currentdirectory: /usr/local/hadoop/hdf

2014-08-25 17:59:11 498

原创 Hadoop集群下安装和启动SSH协议

一、确认本机已经安装了ssh和rsync两个服务查看是否安装了这两个服务：rpm–qa |grep opensshrpm–qa |grep rsync 若没有安装，通过下面命令进行安装：yum installssh 安装SSH协议yum installrsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）service sshd

2014-08-25 17:59:07 966

原创 ACL设置技巧

setfacl [-bkRd] [{-m|-x}acl参数] 目标文件名参数： -m：设置后续的acl参数给文件使用，不可以与-x合用。 -x：删除后续的acl参数，不可与-m合用。 -b：删除所有的acl设置参数。 -k：删除默认的acl参数。 -R：递归设置acl。 -d：设置默认的acl参数，只对目录有效。在该目录下新建的数据会引用此默认值

2014-08-25 17:59:05 563

原创权限管理——ACL权限

linux::acl配置 ACL(access control list)。主要的目的是在提供传统的 owner,group,others 的read,write,execute 权限之外的细部权限设定。ACL 可以针对单一使用者，单一档案或目录來进行 r,w,x的权限规范。1. 安装ACL即使系统已经支持了ACL，通常系统是不会自动开启acl选项的，因此需要手动重新

2014-08-25 17:59:03 820

原创 CentOS中日期和时间戳之间的相互转…

一、时间戳转换成日期例如：将时间为16119转换成日期； [root@www ~]# date -d "1970-01-01 16119days" Tue Feb 18 00:00:00 PST 2014 二、日期转换成时间戳例如：将日期2014/02/17转换成时间戳； [root@www ~]# e

2014-08-25 17:59:01 1532

原创 Win7物理主机无线网下，虚拟机cent…

有两种方法：一、NAT方式，虚拟机自动获取ip步骤：1.打开VMware但不进入CentOs，把Ethernet的网络连接设置成NAT方式。NAT联网" TITLE="Win7物理主机无线网下，虚拟机centos NAT联网" />2 开始->所有程序->VMware->Manage VirtualNetworks，进入以下界面，选择VMNat8 如图NAT联网"

2014-08-25 17:58:59 529

原创 Centos的桥接网络（Bridged N…

桥接网络（BridgedNetworking）：第一步：将虚拟机的网络模式设置为bridged，第二步：将物理主机和虚拟主机设置为同一网段的ip地址物理主机：192.168.8.2 255.255.255.0 192.168.8.1 虚拟主机：192.168.8.10 255.255.255.0 192.168.8

2014-08-25 17:58:56 488

原创 (转)VMware三种网络模式根本区别&n…

提到VMware大家就想起了虚拟机技术，虚拟机技术在最近的几年中得到了广泛的发展，一些大型网络服务商都开始采用虚拟机技术，不仅节省了投资成本，更节约了能源的消耗。我们知道VMware也分几种版本，普通用户最常用的就是Workstation，但是不管使用哪种版本，我们都能发现在安装过程中让我们选择网络模式。在默认情况下会选中桥接模式，但有用户会问其他模式是干什么用的？有时候选择了其他模式之后就不

2014-08-25 17:58:54 541

原创 Linux权限规则详解一

[root@localhost ~]# touch a[root@localhost ~]# ls -l a-rw-r--r-- 1 root root 0 Jun 27 01:13 a （Linux缺省创建的文件不能授予可执行x权限，即644）[root@localhost ~]# mkdir newdir[root@localhost ~]# ls -ld newdirdrwxr-

2014-08-25 17:58:52 497

原创 Centos中查看的用户和用户组

Linux的命令：cat /etc/passwdcut -f 1 -d : /etc/passwdcat：输出/etc/passwd的内容cut：显示所选择的相关段。（-f 1 指的是一列，-d 指出分割符是冒号，PS:冒号和d之间有空格）整体翻译过来就是：输出当前机器上所有用户名。/etc/passwd配置文件存放用户名、home目录、默认执行脚本程序等。cat

2014-08-25 17:58:50 1763

原创 Centos 操作命令

1、打开终端，提示符为“$”，直接输su回车，输入root密码回车就可以切换到root用户下，此时提示符为“#”，注意，输入密码时终端是不显示的，而且每次切换为root用户都要经过这个过程。2、bash: ifconfig:command not found 解决办法：：[root@localhost sbin]$ export PATH=$PATH:/sbin，这样设置后，下

2014-08-25 17:58:48 506

原创 Struts2教程6：在Action类中获得Ht…

原文地址：http://www.blogjava.net/nokiaguy/archive/2008/04/22/194846.html在struts1.x Action类的execute方法中，有四个参数，其中两个就是response和request。而在Struts2中，并没有任何参数，因此，就不能简单地从execute方法获得HttpServletResponse或HttpServlet

2014-08-25 17:58:46 333

原创 FileSystemXmlApplicationContext…

Spring有两个核心接口：BeanFactory 和ApplicationContext，其中ApplicationContext是BeanFactory的子接口。它们代表Spring容器，Spring容器是生成Bean实例的工厂，并管理容器中的Bean，Bean是Spring管理的基本单位，在基于spring的javaEE应用中，所有的组件都被当成bean来处理很多时候， Appl

2014-08-25 17:58:43 9257 1

转载关于transaction的注解继承…

原文地址：关于transaction的注解继承问题作者：Anders由于在dao用的是：session 而不是 hibernateTemplate 先说一下HibernateTemplate与session的区别使用方法没有多大的区别我们使用HibernateTemplate，有一个很重要的原因就在于我们不想直接控制事务，不想直接去获取，打开Session，开始一个事务，处理异常

2014-08-25 17:58:41 2677

转载 @Repository、@Service、@Co…

原文地址：和 @Component">@Repository、@Service、@Controller 和 @Component作者：田保兴@Repository、@Service、@Controller 和 @Component 将类标识为BeanSpring 自 2.0 版本开始，陆续引入了一些注解用于简化 Spring 的开发。@Repository注解便属于最先引入的一批，它用于将数

2014-08-25 17:58:39 649

转载 Spring Bean的属性值定义

原文地址：Bean的属性值定义">Spring Bean的属性值定义作者：Crusoe 我们可以在Spring的配置文件中直接设置Bean的属性值。例如：你的Bean有一个“maxSize”属性，它表示每页显示数据的最大值，它有一个set方法。代码如下：private int maxSize;public void setMaxSize(int maxSize) {this.maxSiz

2014-08-25 17:58:37 605

原创 WEB-INF 有关的目录路径问题总结

有关的目录路径问题总结" /> 1、资源文件只能放在WebContent下面,如 CSS,JS,image等.放在WEB-INF下引用不了. 2、页面放在WEB-INF目录下面,这样可以限制访问,提高安全性.如JSP,html 3、只能用转向方式来访问WEB-INF目录下的JSP,不用采用重定向的方式请求该目录里面的任何资源.如图:index.jsp>> main.jsp 4、

2014-08-25 17:58:35 409

原创 Eclipse快捷键

在Eclipse里，写一个没有导入相应包的类名(这个类名已经完全写全,比如LayoutManager)，可以用ctrl+shift+M/Ctrl+Shift+o/Ctrl+1导入相应的包.MyEclipse 快捷键1(CTRL)-------------------------------------Ctrl+1 快速修复Ctrl+D: 删除当前行Ctrl+Q 定位到最后编辑的地

2014-08-25 17:58:33 316

转载怎样才能多出科研成果（转）

原文地址：怎样才能多出科研成果（转）作者：一直往前飞40 一,查国际大牛的最新会议和期刊论文.就知道目前最火的热点是什么. 如果你要做的, 没几个人搞,或者只有几个中国院士在搞. 那就是没多大意义的课题.二, 查国际大牛最新的刚毕业的博士生的博士论文.这个最有用. 俗话说名师出高徒. 其实呢, 换句话也是高徒出名师.二者缺一不可.一个人一辈子

2014-08-25 17:58:31 965 1

转载 kernel PCA的基本推导

原文地址：PCA的基本推导">kernel PCA的基本推导作者：自由飞鹰要学习kernel PCA就要先从基本的理论入手：通过上面两篇PCA的介绍我想对于基本的理论推导和几何物理意义应该比较清楚了。下面就根据别人的博客和文章的基础上简要的推导下kernelPCA以及PCA。应用上给出一个小程序。由于我不是数学专业出身所以对于深层次的的理论我现在不是很懂所以在这不做多的论述，如果需要我

2014-08-25 17:58:29 590

转载 K-Means聚类算法

原文地址：K-Means聚类算法作者：IntergretKMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。 K-Means聚类算法主要分为三个步骤：(1)第一步是为待聚类的点寻找聚类中心(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到离该点

2014-08-25 17:58:25 496

原创 k均值聚类(K-means)（转载）

4.1、摘要在前面的文章中，介绍了三种常见的分类算法。分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。聚类属于无监督学习，相比于分类，聚类不依赖预定义的类和类标号的训练实例。本文首先介

2014-08-25 17:58:22 867

原创 Kolmogorov-Smirnov test

单个样本分布的Kolmogorov-Smirnov 测试函数 kstest格式 H = kstest(X) %测试向量X是否服从标准正态分布，测试水平为5%。H = kstest(X,cdf) %指定累积分布函数为cdf的测试(cdf=[]时表示标准正态分布)，测试水平为5%H = kstest(X,cdf,alpha) %alpha为指定测试水平[H,P,K

2014-08-25 17:58:20 1127

原创 MATLAB中的meshgrid函数与mesh()函…

（1）meshgrid函数是生成绘制三位图形所需要的网格数据；示例一：x=-3:1:3;y=-2:1:2;[X,Y]= meshgrid(x,y);这里meshgrid（x，y）的作用是分别产生以向量x为行，向量y为列的两个大小相同的矩阵，其中x的行是从-3开始到3，每间隔1记下一个数据，并把这些数据集成矩阵X；同理y的列则是从-2到2，每间隔1记下一个数据，并集成矩阵Y。即

2014-08-25 17:58:18 1529

转载 matlab生成满足二维高斯（正…

原文地址：matlab生成满足二维高斯（正态）分布的随机数/作图程序作者：乐韵悠杨产生满足二维高斯（正态）分布的随机数：mu=[0,2];%数学期望sigma=[1 0;0,4];%协方差矩阵r=mvnrnd(mu,sigma,50)%生成50个样本 help mvnrndMVNRND Random vectors from the multivariate normaldis

2014-08-25 17:58:16 3825

上海大学一位姓崔的老师说：“不可否认的是，研究生面临着比较大的生存压力，但是要平衡自己的方向，在没有生存威胁的情况下，要专注于学习。”他表示，在社会心理普遍比较浮躁的情况下，就要求研究生要拿出宽广的视野来，权衡自己眼前的利益和长远发展的基础，“疯狂做兼职是没有自信的表现。”他认为，研究生要从长远来看，看到社会整体的发展趋势，坚定发展的信念，不为暂时的困难所束缚，尤其是不要被眼前一时的较小的物质利益

2014-08-25 17:58:14 1174

转载在数据分析的领域里，都有哪…

原文地址：在数据分析的领域里，都有哪些分析工具，又如何去选择呢?作者：胡默言　　数据分析也好，统计分析也好，数据挖掘也好、商业智能也好都需要在学习的时候掌握各种分析手段和技能，特别是要掌握分析软件工具!我曾经说过，学习方法，一般是先学软件开始，再去应用，再学会理论和原理。没有软件工具的方法就不要去学了，因为学了也不能做，除非你自己会编程序。　　那么在数据分析领域，都有哪些软件分析工具呢?如何

2014-08-25 17:58:11 462

原创 hadoop 2.2.0安装与测试