puweilan-CSDN博客

转载 strtok()和strtok_r()

2013-10-25 14:32:41 909

原创 Ubuntu下Sqoop安装配置

需要用到Sqoop将原来mysql中的数据导入到HBase，以下是安装配置Sqoop的步骤和问题记录：1. 项目用到的hadoop的版本是1.0.3，所以对应的sqoop是sqoop-1.4.3.bin__hadoop-1.0.0，mysql的jdbc是mysql-connector-java-5.1.242. 解压sqoop，配置环境变量：在/etc/profile中添加：

2013-07-02 10:29:41 6453

原创 Ubuntu下eclipse安装subclipse插件

1. 下载subclipse的最新版本1.8.x http://subclipse.tigris.org/servlets/ProjectProcess;jsessionid=E8CA8336ABB9322AB3D371A49F555829?pageID=p4wYuA2. 作为插件加入到eclipse3. 安装JavaHL：对于1.8.x要求要1.7.x版本的JavaHL，但

2013-03-19 15:36:47 1198

原创【hadoop学习笔记】How MapReduce Works

Anatomy of a MapReduce Job Runmapreduce job的整个工作过程如下：1. Job Submission用户通过JobClient.runJob(conf)开始执行一个job（注：最新版本的hadoop，应该是用job.waitForCompeletion(true)）。JobClient创建一个JobClient实例并且调用submitJob()来

2013-03-18 23:09:26 980

原创在VMware安装Ubuntu后一直停留在VMware Easy Install

在VMware安装Ubuntu完成后，一直停留在VMware Easy Install，可以登录但是没有窗口界面，如图：在此登录后依次运行以下命令：sudo mv /etc/issue.backup /etc/issuesudo mv /etc/rc.local.backup /etc/rc.localsudo mv /opt/vmware-tools-inst

2013-02-25 16:17:28 9257 3

原创 Hadoop文件压缩与解压

hadoop文件压缩和解压缩的一个简单测试程序：package org.myorg;import java.io.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.compress.CompressionCodec;import org.apache.hadoop.io.compress

2012-10-19 16:41:23 6374 6

原创编译hadoop的eclipse插件

前提是已经安装好jdk并部署好hadoop。hadoop的安装目录为hadoop-1.0.31. 如果系统里没有ant先安装ant。yum install ant2. 在hadoop-1.0.3\src\contrib\build-contrib.xml中加入：（location为eclipse的安装目录） 3. 在hadoop-1.0.3目录下执行ant compile -l

2012-10-17 14:55:42 1810

原创 CentOS安装Hadoop并运行WordCount实例

整个配置过程参考http://hadoop.apache.org/docs/r0.19.2/cn/index.htmlLinux系统是CentOS6.21. 安装jdk。在oracle上下载最新jdk的rpm包，双击安装。系统默认安装到了/usr/java/jdk1.7.0_07文件夹里。2. 在apache下载最新稳定版hadoop，我下的是hadoop-1.0.3.tar.gz

2012-10-16 10:59:26 2127

原创 eclipse中的WEB项目打包部署到tomcat

简单说说：我们的项目用到了ofc2，在生成图表之前要先生成.json文件。首先遇到的问题是相同文件名字的json文件，如果只是改变其内容，然后刷新生成图表的页面，图表不会变。我们小组负责这块的成员给的解决方案是，每次需要新的图表，就生成一个新的json文件，同时删除之前的旧文件。然后我们生成新的图表就非常慢，因为文件在生成后感觉eclipse没有立即刷新，有时要用到5秒以上，简直无

2012-03-08 20:08:06 11850

原创 android socket通信：permission denied

试图让模拟器和本机通过socket连接。一直无法连接，但是也不报错。用debug as android application进行调试，这时能看到错误消息说：permission denied原因是：需要访问到网络，所以，在AndroidManifest.xml中，需要进行如下配置：配置好后，成功连接

2011-11-28 18:18:38 9106 1

转载使用eclipse编写Hadoop应用程序

在此，用eclipse编写了一个简单的程序。1）在eclipse下创建一个java工程DFSOperator，并创建相应的类。在创建类的时候不要自己创建包，用系统默认的包。之前一直不能运行成功好像就是创建了自己的包，错误提示找不到Class。后来重新创建类在默认的包中，运行成功。2）配置编译参数配置“Build Path”，选中“DFSOperator”，单击右键，点击下图所示菜单“B

2011-10-30 13:58:16 3829

原创 ssh登陆问题

在安装hadoop的时候，每次在新打开计算机后，在cygwin里首次登陆ssh会出现如下错误：《hadoop开发者》第一期里面也有提到过如果是windows域用户会出现如下错误：提供的解决方案为：http://bbs.hadoopor.com/thread-348-1-1.html基于提供的解决方案。由于我在进入cygwin时没有遇到mkpasswd

2011-10-30 10:32:38 1083

原创 java中excel文件数据的导入

在网上找到的一些资料与自己例子的结合，记下来供自己参考。首先是要有个jxl.jar包。在http://www.andykhan.com/jexcelapi/download.html里去下了最新版本，发现运行起来有问题，错误提示版本不符什么的。然后搜到说JDK1.6该用JExce

2011-07-21 12:35:32 1416

原创《算法导论》练习题 2.1-4

2.1-4 有两个各存放在数组A和B中的n位二进制整数，考虑它们的相加问题。两个整数的和以二进制形式存放在具有(n+1)个元素的数组C中。请给出这个问题的形式化描述，并写出伪代码。自己写的java解决方案。没有找到标准答案，先放上来吧，不一定很好。不过运行结果正确。package

2011-07-18 09:58:54 2180

原创 MyEclipse中JS乱码问题

1.把JS文件导入到myeclipse里，文件内的中文字会变成乱码。解决方法：选择"window">>"preferences">>"general">>"content types"在右边的窗口中打开列表,选中"JavaScript",在下面的"default encoding"右边的输入框中输入"GBK"或"UTF-8"，再点"update"按钮,再打开JS文件就可以了。2.在用外链

2011-05-25 21:08:00 6075 1

原创基于.NET平台的分层架构设计

记录下软件架构与设计模式课上老师讲的一个基于.NET平台的分层架构设计例子。从上个暑假自己研究着做论坛，然后上学期做HS的选课系统，做WEB课程设计，接触了不是WEB开发的东西。前面两个用的j2ee，后面一个用的.NET。其实真正做出来的只有选课系统的一小部分，呃，其他的就不说了，不想说。但是接触这些东西之后，刚开始觉得很乱，因为没有系统的学习这些东西就开始拿来用了，后面才知道还有

2011-03-30 19:31:00 1193 1

原创复用类

好几天都没写了以后还是争取做到每天都写点笔记总感觉在家学习效率很低电脑一打开就不知不觉的一直盯着电脑了总是去点QQ 看有没有人跟我讲话。。然后在网页，空间上东逛西逛的。。哎单词也没好好背~ 完都完了首先还是写下访问权限控制，感觉写的代码多了这个就很容易记住了，应该像常识一样的。package和import关键字允许你做的，是将单一的全局名字空间分隔开，使得无论多少人使用In

2010-07-20 17:41:00 829

原创初始化和清理

感觉这章讲很多东西，很多初始化的方法。有一部分不太理解，也不知道怎么用有什么用。可能以后做东西的时候会用到吧，到时候可能需要再看看这章。方法重载：当方法的参数涉及到基本类型时，如果传入的数据类型（实参类型）小于方法中声明的形式参数类型，实际数据类型就会被提升；char型略有不同，如果无法找到恰好接受char参数的方法，就把char直接提升为int；如果传入的实际参数较大，就得通过类型转换来执行

2010-07-16 16:10:00 504

puweilan的专栏