2014年06月_迷途小码

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 java.io.IOException: could only be replicated to 0 nodes, instead of 1.

使用默认的hadoop.tmp.dir的选线一般都为/tmp,而linux系统的/tmp目录往往文件系统的类型往往是Hadoop不支持的。所以我们在反复namenode format， restart之后，仍然启动不了HDFS,不妨修改一些hadoop.tmp.dir目录。

2014-06-30 19:21:46 1228

原创 hadoop2.x配置 - 改 hadoop ssh 端口

启动hadoop，但ssh 端口不是默认的22怎么样？好在它可以配置。在conf/hadoop-env.sh里改下。如： export HADOOP_SSH_OPTS="-p 1234"

2014-06-30 19:19:52 4831

原创 SSH Warning: the RSA host key for differs from the key for the IP address

当ssh访问一台server时，如果出现“Warning: the RSA host key for differs from the key for the IP address”这样的信息，表示在known_hosts里已经有一台server和你正要访问的server的IP冲突。另外一条类似于这样的信息“Offending key for IP in /builds

2014-06-30 19:18:20 2256

转载 Notepad++ 正则表达式使用

使用正则表达式可以很好地完成很多繁琐耗时的工作，以下抄录editplus正则表达式的使用，同样适用于notepad++：表达式说明 \t 制表符. \n 新行. . 匹配任意字符. | 匹配表达式左边和右边的字符. 例如, "ab|bc" 匹配 "ab" 或者 "bc". [] 匹配列表之中的任何单个字符. 例如, "[ab]" 匹配 "a" 或者 "b". "[0-9]

2014-06-29 19:49:39 1236

转载 AES - 关于AES算法 JAVA同C++互解

关于加解密JAVA一般使用的JCE，关于C++可以实现AES加解密的开源项目就多的数不胜数的。理论上上算法一样，对称密钥一样就能够互相识别了。相信很多人开始想法都同我一样，起初我JAVA用JCE，C++使用openssl

2014-06-27 10:47:20 4391

转载 AES - AES ECB encrypt/decrypt only decrypts the first 16 bytes

Question：Answer：

2014-06-26 19:13:34 1478

转载 AES - Java AES算法和openssl配对

近日工作上的原因，需要实现Java AES算法和C语言下基于openssl的AES 算法通信。这是个老问题了，网上搜到不少资料，但都不是很详细，没能解决问题。只能自己来了。先说说AES算法。AES算法的实现有四种，如CBC/ECB/CFB/OFB，这四种Java和C都有实现。AES算法还有末尾的填充(padding)，java支持的padding方式有三种NoPadding/PKCS5P

2014-06-26 19:07:33 3515 3

转载 stl string常用函数

string类的构造函数：string(const char *s); //用c字符串s初始化string(int n,char c); //用n个字符c初始化此外，string类还支持默认构造函数和复制构造函数，如string s1；string s2="hello"；都是正确的写法。当构造的string太长而无法表达时会抛出length_error异常string类的字

2014-06-25 17:18:33 583

翻译 new types may not define a return type - C++

Question：Answer：

2014-06-25 17:17:11 1228

转载 SHA1 - SHA1_Init()/SHA1_Update()/SHA1_Final()生成 sha1 散列值函数组合

在《sha1 -- 生成 sha1 散列值》中给出了可以生成 SHA1() 函数，它应用很简单。实际上，OpenSSL 还提供了另外一套 API 用以产生 sha1 散列值，该套 API 可以生成更大文件的散列值。比如在 32 位系统下，应用程序不能访问超过 4G (2[sup]32[/sup] )的内存空间，从 SHA1() 函数的

2014-06-20 11:17:54 12957 5

转载 SHA1 - 生成sha1散列值

SHA 是 Secure Hash Algorithm (安全散列算法) 的缩写，它用来产生 20 个字节 (160位) 的散列值，该算法常用于数字签名，以防止数据遭到篡改。这里介绍 openssl 提供 API 计算数据的 SHA1 值。实际上，该 API 有两套，这里只给出最简单的函数，即 SHA1()，其原型如下：[C++] 纯文本查看复制代码?

2014-06-20 11:11:11 5734 1

原创 hadoop介绍 - 关于hadoop的文件权限

1、HDFS本身没有提供用户名、用户组的创建，在客户端调用hadoop 的文件操作命令时，hadoop 识别出执行命令所在进程的用户名和用户组，然后使用这个用户名和组来检查文件权限。 2、hadoop的文件权限同linux的用户权限管理机制相同，读写执行，分为自己、同一组、alluser 权限层，且有chmod 和 chown相应的操作。 3、关于web界面中对于权限，w

2014-06-17 16:13:45 1493

转载 Hadoop报错：NoRouteToHostException: No route to host

当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:Exception in createBlockOutputStream java.net.NoRouteToHostException:No route to host这种情况网上的解决办法通常是告诉要关闭防火墙，至于关于哪台主机的防火墙并没提。查看日志文件，只说是No route to host没有提端口

2014-06-17 16:09:53 1411

转载 several technical limits to the NameNode

There are several technical limits to the NameNode (NN), and facing any of them will limit your scalability.1. Memory. NN consume about 150 bytes per each block. From here you can calculate how much

2014-06-17 16:07:43 692

转载 What is the maximum number of files allowed in a HDFS directory?

Question:What is the maximum number of files and directories allowed in a HDFS (hadoop) directory?Answer:The blocks and files are stored in a HashMap. So you are bound to Integer.MAX_VALUE. So a

2014-06-17 16:06:29 856

转载 how to update config parameter of hadoop mapred-site.xml without restarting the cluster

Question:I would like to add/update the following parameter mapred.map.tasks.speculative.execution false in mapred-site.xml in hadoop. How can I do this without restarting the cluster?

2014-06-17 16:05:11 740

翻译 Error in pig while loading data

Question：I am using ubuntu 12.02 32bit and have installed hadoop2.2.0 andpig 0.12 successfully. Hadoop runs properly on my system.However, whenever I run this command :data = load 'atoz.cs

2014-06-13 17:35:23 1501

转载 hadoop2.x配置 - HistoryServer原理详解

本文介绍了YARN中historyServer的原理和配置HistoryServer的原理简介下图展示了historyServer的数据流向图.解释:1. NodeManager在启动的时候会初始化LogAggregationService服务, 该服务会在把本机执行的container log (在container结束的时候)收集并存放到hdfs指定的目录下.2. Ap

2014-06-12 16:07:55 5649 1

翻译 Aggregation is not enabled. Try the nodemanager at IP:HOST

Question:Answer:

2014-06-12 15:32:35 5859

转载 hadoop2.x配置 - Uber模式参数

Uber模式是Hadoop2.0中实现的一种针对MR小作业的优化机制。即如果作业足够小，则所有task在一个jvm（mrappmaster）中完成要比为每个task启动一个container更划算。下面是该机制的相关参数，这些参数均为客户端配置。总开关mapreduce.job.ubertask.enable 默认值：false作业规模条件mapreduce.job.u

2014-06-12 09:49:42 2200

转载 hadoop2.x配置 - RM与NM相关参数

REFER：------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2014-06-11 17:39:44 1204

转载 hadoop2.x配置 - MapReduce相关参数

REFER:---------------------------------------------------------------------------------------------

2014-06-11 17:37:43 1362

转载 No FileSystem for scheme: hdfs

当引入hadoop-common-2.2.0.jar包进行二次开发，比如读写HDFS文件时，初次运行报错。java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)

2014-06-09 15:10:15 2677

转载 std::string and stl 算法

toupper,tolower地球人都知道 C++ 的 string 没有 toupper、tolower ，好在这不是个大问题，因为我们有 STL 算法：string s("heLLo");transform(s.begin(), s.end(), s.begin(), ::toupper);cout transform(s.begin(), s.end(), s

2014-06-06 13:42:11 1353