- 博客(28)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 C访问hadoop程序终端显示运行正确，因为连接参数错误，使得通过网页查看就是没有成功原因分析和解决方案
代码：#include "/usr/local/hadoop/src/c++/libhdfs/hdfs.h"int main(int argc, char **argv) { if (argc != 2) { fprintf(stderr, "Usage: hdfs_write \n"); exit(-1); } hdfsFS fs =
2013-05-30 20:40:59
2178
2
转载 没事儿的时候看一下管理学
太经典了!狮子让一只豹子管理10只狼，并给他们分发食物。豹子领到肉之后，把肉平均分成了11份，自己要了一份，其他给了10只狼。这10只狼都感觉自己分的少，合起伙来跟豹子唱对台戏。虽然一只狼打不过豹子，但10只狼豹子却没法应付了。 豹子灰溜溜的找狮子辞职。狮子说，看我的。 狮子把肉分成了11份，大小不一，自己先挑了最大的一份，然后傲然对其他狼说：你们自己讨论这些肉怎么分。为了争夺到大点的
2013-05-30 20:02:16
859
转载 HDFS: c/c++接口 libhdfs
建立、关闭与HDFS连接：hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。打开、关闭HDFS文件：hdfsOpenFile()、hdfsCloseFile()。当用hdfsOpenFile()创建文件时，可以指定replication和blocksize参数。写打开一
2013-05-30 19:45:17
14289
原创 java访问hadoop编译和运行遇到的各类问题和解决方案：
问题1：在javac编译时，老是缺少依赖的类，解决方案：所以我之后写了一个脚本，将所有的.jar文件都加载到CLASSPATH变量中，就ok了。问题2：而实际操作中出现文件操作的权限不足。因为用hadoop shell放进去的默认权限是rw-r--r--,所以作为程序对象就没有操作权限。解决方案：java之之前加上sudo权限即可。如果还是不行，那只好：/bin
2013-05-30 14:30:57
2457
原创 C程序访问hadoop运行时遇到的各种问题以及解决方案（环境变量不被sudo继承）
问题1：当编译通过后，运行时，会出现：hadoop@springwater-Aspire-4743:/usr/local/hadoop/test$ ./testException in thread "main" java.io.IOException: Mkdirs failed to create /my at org.apache.hadoop.fs.ChecksumFileSy
2013-05-30 12:50:00
4015
原创 C程序访问hadoop程序编译通过后在运行的时候出现：WARN util.NativeCodeLoader错误。
参考博文：http://www.linuxidc.com/Linux/2012-04/59200.htmhttp://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.htmlWARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla
2013-05-29 19:50:16
7124
3
原创 C程序访问hadoop出现的各种编译错误和运行时各种类DefFound异常的解决方法（makefile的书写和环境变量的配置）
当C程序编译但一到运行就告诉你缺configuration， logging等类，反正遇到缺类的情况就网CLASSPATH中加×。jar的路径吧;注意 CLASSPATH是在文件里搜索类;（没有递归搜索）而PATH是在文件里搜索文件（递归式搜索）编译时出现各种hdfs.h找不到：当我像下面写makefile文件就没问题了：HADOOP_INSTALL=/usr/local
2013-05-29 17:22:08
1774
转载 Ubuntu 设置环境变量
在 Ubuntu 系统中有两种设置环境变量 PATH 的方法。第一种适用于为单一用户设置 PATH，第二种是为全局设置 PATH。 第一种方法： 在用户主目录下有一个 .bashrc 文件，可以在此文件中加入 PATH 的设置如下： export PATH=”$PATH:/your path1/:/your path2/…..” 注意：每一个 path 之间要用 “:“ 分隔。
2013-05-29 15:17:50
717
转载 汽车各部位名称及故障处理
汽车各部位名称及故障处理，让你轻松成大师，不再被人宰1、排气管冒黑烟：故障判定：真故障。原因分析：表明混合气过浓，燃烧不完全。主要原因是汽车发动机超负荷，气缸压力不足，发动机温度过低，化油器调整不当，空气滤芯堵塞，个别气缸不工作及点火过迟等。排除时，应及时检查阻风门是否完全打开，必要时进行检修；熄火后从化油器口看主喷管，若有油注出或滴油，则浮子室油面过高，应调整到规定范围，拧紧
2013-05-28 00:15:06
3271
原创 jobTracker进程在启动后很快就自动关闭（前面两篇博客的方法都无法解决）
jobTracker进程在启动后很快就自动关闭（前面两篇博客的方法都无法解决）：查看logs日志发现：2013-05-28 09:19:09,420 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 500302013-05-28 09:19:09,420 INFO org.mortbay.log: jetty-
2013-05-27 19:47:30
3814
原创 当/tmp下的文件，data下的文件，datalog下的没有删除，导致format或bin/start-all.sh不成功
在每次格式化：bin/hadoop namenode -format的时候都会重新读写/tmp, data, datalog文件，当不匹配时，就不会成功解决方案：1：故应该删除datalog文件（在formate的时候会自动生成），如果光删除里面的文件是不行的2：删除data文件，之后手动新建data（貌似在format之后不会自动生成），但必须记得改访问权限为sudo chmod 7
2013-05-27 19:42:05
2030
原创 端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
namenode 无法启动，查看日志显示：BindException: Problem binding to cs-01.localhost.localdomain/192.168.0.4:9001 : Address already in use2012-06-10 20:43:03,004 INFO org.apache.hadoop.mapred.JobTracker:
2013-05-27 19:23:06
5538
转载 Hadoop C访问error while loading shared libraries: libhdfs.so.0
在编译成功时遇到错误：error while loading shared libraries: libhdfs.so.0: cannot open shared object file: No such file or directory的解决方案：原文连接：http://blog.csdn.net/johnnywww/article/details/7530364现在计划做
2013-05-25 12:23:56
4000
转载 Hadoop集群（第5期）_Hadoop安装配置
原文连接：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Fil
2013-05-24 20:08:43
1127
原创 hadoop c++ api调用范例
#include "hdfs.h" int main(int argc, char **argv) { hdfsFS fs = hdfsConnect("default", 0); const char* writePath = "/tmp/testfile.txt"; hdfsFile writeFile = hdfsOpenFile(fs, writ
2013-05-24 17:29:54
2730
1
原创 hadoop 学习资料网站收集
C/C++:hadoop API 资料：http://stackoverflow.com/questions/8236816/linux-library-linking-issue-hadoop-hdfs-c-api官方C APIhttp://hadoop.apache.org/docs/stable/libhdfs.html官方Java API网址：http://
2013-05-24 15:29:31
786
转载 Ubuntu下解压压缩方法总结
一般通过默认安装的ubuntu是不能解压rar文件的，只有在安装了rar解压工具之后，才可以解压。其实在ubuntu下安装rar解压工具是非常简单的，只需要两个步骤就可以迅速搞定。ubuntu 下rar解压工具安装方法：压缩功能安装 sudo apt-get install rar卸载 sudo apt-get remove rar解压功能安装
2013-05-24 11:58:36
721
转载 通过shell命令来控制hdfs
转载：http://www.cnblogs.com/xuqiang/archive/2011/06/02/2042587.html1. hadoop文件系统权限简介2.命令简介 3. 参考资料 . hadoop文件系统权限简介 hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下
2013-05-24 10:36:00
703
转载 学习UML实现、泛化、依赖、关联、聚合、组合
类之间的关系种类：Realization(实现)， Generalization(泛化)，Dependency(依赖)、Association(关联)、Aggregation(聚合)、Composition(合成或组合)。 其中，Aggregation(聚合)、Composition(合成)属于Association(关联)，是特殊的Association关联关系。实现(Realiza
2013-05-23 10:30:20
1143
原创 2013腾讯面经（技术类-后台开发）
阅读提示：如果有赶着去撸代码，玩dota / lol，把妹纸，内急……时间捉急又想吃快餐的同志，可以在直接跳过下面所有黑体字部分（因为黑体字部分都是写给我自己和个别基友看的） 面经百度百科定义：面试经验。求职者把面试经验写下来发布在BBS上供他人参考。而我个人觉得解释为：面试经历更为恰当，毕竟自己仍是弱菜一枚，并没有高深的技艺可以被列为经验之称。只是记录一下面试过程罢了。
2013-05-19 23:17:44
17405
5
转载 RMQ算法模板
#include #include #include #include #include #include #include using namespace std;#define maxs( a , b ) a>b?a:b#define mins( a , b ) a>b?b:aconst int MAXN = 100005;int d[MAXN];int dpmin[
2013-05-17 23:17:22
910
原创 hdu 4545 魔法串（金山居）
就是一个求最长公共子序列的水题#include #include #include #include using namespace std;#define MAXN 1005int dp[MAXN][MAXN];char s1[MAXN], s2[MAXN];char ch1[2], ch2[2];bool hash[128][128];int Max(int a
2013-05-17 21:17:09
1978
1
原创 hdu 4547 CD操作（金山居 LCA算法）
LCA算法：首先用CD ..回退到公共最近最现，再一次性到达目的地。#include #include #include #include #include using namespace std;const int maxn = 100006;int dp[maxn][20], father[maxn], dep[maxn];bool vis[maxn], mark
2013-05-17 21:15:26
2183
1
转载 米勒-拉宾素数测试
由于卡米歇尔数的存在，导致 费马小定理 无法判断一个数是否是素数。费马小定理: 设p是素数, a是任意整数且 a!三0( mod p )， 则 a^(p-1) 三 1(mod p) //========================================================卡米歇尔数:它是合数, 当
2013-05-08 22:16:55
7065
5
原创 shell编程中的格式规范
#!/bin/bash#if和'['中间应该有个空格，否则编译不成功，#if判断语句的"[ ]"两边紧贴中括号应该有空格，否则编译不成功if [ -f"t.txt" ];then echo "yes"else echo "no"f
2013-05-03 14:18:32
1310
原创 一个进程能用的最大内存（堆区）空间大小为1G
网上看到的分析：32位意味着4G的寻址空间，linux把它分为两部分：最高的1G(虚拟地址从0xC0000000到0xffffffff)用做内核本身，成为“系统空间”，而较低的3G字节（从0x00000000到0xbffffff）用作各进程的“用户空间”。这样，理论上每个进程可以使用的用户空间都是3G。当然，实际的空间大小收到物理存储器大小的限制。虽然各个进程拥有其自己的3G用户空间，系统空间
2013-05-02 23:23:54
15353
1
原创 C++ static成员直到整个程序结束才释放空间，函数返回也不会释放
#include #include using namespace std;class T{ public: T() { cout << "constuct" << endl; } ~T() { cout << "destroy" << endl; }};T fun(){ static T t; return t;}int main(){
2013-05-01 23:25:51
2712
原创 C++在类之间调用static_cast转换时，需要复制构造函数
下面代码因为T2没有实现T2(T1)复制构造函数，所以编译错误g++报错：test.cpp|23 col 25| 错误： 对‘T2::T2(T1&)’的调用没有匹配的函数#include #include#include #include#include using namespace std;class T1{ public: int a; double b;};
2013-05-01 10:26:10
1874
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人