- 博客(130)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hive的元数据存储在mysql后,报错的解决方法！
因为要实现多人开发Hive，所以需要将hive的元数据存储在mysql。配置完成后，配置之前hive中创建的数据表在show tables时都不会出现，但hdfs数据文件都还在。当在hive中drop table 时如果报以下错时FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while
2013-11-27 14:03:24
1021
原创 HDFS 常用api
This Java tutorial contains examples and Java code on how to create, rename, delete and do much more on Hadoop Distributed File System using the Haddop Java API.Copy a file from the local file system
2013-11-27 14:03:21
647
原创 Hive与表操作有关的语句
1.创建表的语句：Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [
2013-11-27 14:03:17
715
原创 Eclipse RCP中控制Editor不重复打开的方法
方法一：在org.eclipse.ui.editors扩展点中有个matchingStrategy的元素，可以实现IEditorMatchingStrategy接口，覆写public boolean matches(IEditorReference editorRef, IEditorInput input)方法，就可以做到判断编辑器输入是否匹配打开的编辑器。 说的简单点：每次我们打开一个文件，转
2013-11-27 14:03:14
982
原创 eclipse rcp java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
在开发eclipse rcp 链接musql的程序时，即使导入了mysql connector jar包，也可能会报java.lang.ClassNotFoundException: com.mysql.jdbc.Driver，这时需要在MANIFEST.MF文件最后添加Bundle-ClassPath: bin/ , lib/mysql-connector-java-5.1.19-bin.jar
2013-11-27 14:03:12
1197
原创 Setting up Hadoop/Hive to use MySQL as metastore
In a previous post I showed how to setup Hadoop/Hive to use Derby in server mode as the metastore. Many believe MySQL is a better choice for such purpose, so here I'm going to show how we can configur
2013-11-27 14:03:10
745
原创 配置Hive使用嵌入式derby或客服模式derby方法
一、环境Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6二、使用目的1、一般来说我们对hive的操作都是通过cli来进行，也就是Linux的控制台，但是，这样做本质上是每个连接都存放一个元数据，各个之间都不相同，所以，对于这样的模式我建议是用来做一些测试比较合适，并不适合做产品的开发和应用。2、因此，就产生的JDBC连接的方式，当然还有其他的连接方式，比如ODBC等。三、连接
2013-11-27 14:03:07
1285
原创 关于Hadoop-0.20.203.0通过Eclipse连接编程的问题
对于Hadoop开发者来讲，通过JAVA API编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持，所以需要一些简单的步骤来实现。1. 安装Hadoop。本文的Hadoop是部署在虚拟机上的伪分布模式。相关软件环境如下：JDK： sun jdk1.6.0_30Hadoop: hadoop-0.20.203.0Linux: Ubu
2013-11-27 14:03:05
577
原创 编译hadoop-0.20.2的eclipse-plugin插件
hadoop-0.20.2自带的eclipse-plugin对版本在3.3以上的eclipse不起作用，在eclipse hadoop开发环境配置中，我用的是第三方编译的eclipse插件，但它也有可能在你的电脑上不起作用，所以自己会编译hadoop-0.20.2的eclipse-plugin很有必要。在编译eclipse-plugin之前，需要安装apache-ant，apache-ivy。an
2013-11-27 14:03:02
657
原创 Ubuntu联想Y460双显卡禁用独显完美解决
在Ubuntu下双显卡机型怎样禁用独显的问题困扰了我很久,遍寻网络解决方法比较靠谱的是southwolf提供的方法,但是存在一些小bug。原文如下: ---------------------------传说中的分割线------------------------------------ BIOS中设置Switchable Graphics, 安装 10.04, 不要装ATI驱动 1. 更
2013-11-27 14:03:00
3697
原创 Hadoop put 报异常“could only be replicated to 0 nodes, instead of 1”
WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/lighttpd/f.jar could only be replicated to 0 nodes, instead of 1at org.apache.hadoop
2013-11-27 14:02:58
713
原创 HADOOP报错Incompatible namespaceIDs
今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -reportConfigured Capacity: 0 (0 KB)Present Capacity: 0
2013-11-27 14:02:55
480
原创 cygwin hadoop 配置
在Cygwin上配置Hadoop的Java_home,首先到了${HADOOP_HOME}的conf目录下，修改hadoop-env.sh文件。主要分为如下几步：1. 找到JAVA_HOME,修改JAVA_HOME的路径指向你本机安装的Jdk路径。注意，这里的路径不能以window的路径出现，应该用unix的形式出现，例如c:\Program Files\Java\jdk1.6.0，应该写成/cy
2013-11-27 14:02:53
787
原创 linux如何修改hostname
很多人使用hostname 主机名 来修改,其实这个只是做为暂时的,重启后将恢复到原来的名字.很多人说修改/etc/hosts文件,其实这个文件里的主机名只是为来提供给dns解析的.如果你用不上dns,只需要修改主机名,那修改这个没用.其实是修改这个文件etc/sysconfig/network这个文件里的主机名.NETWORKING=yesHOSTNAME=主机名----------------
2013-11-27 14:02:51
570
原创 如何在Fedora添加桌面快捷方式、如何添加到应用程序
以下以添加Eclips为例在桌面上添加Eclips.desktop 文件，向其写入如下代码[Desktop Entry]Name=EclipseComment=用Eclipse开发Exec=/usr/lib/eclispe/eclipseIcon=/usr/lib/eclipse/eclipse32.pngTerminal=falseType=ApplicationCategories=Appli
2013-11-27 14:02:49
2820
原创 win7下无需软件或adhoc补丁通过无线网卡搭建虚拟wifi网络
（参考pcpop泡泡网创意无限 将Win7电脑改造成无线路由）大家一定记得有很多教程教大家用软件创建无线网络，比如connectify，其实win7下面是自带这个功能的，下面进行详细解说（此方法在网上流传，并非原创，但我看论坛里好像没提过，至少我没搜到）一、前提条件: a、win7系统（我用的是旗舰版，不清楚家庭版或专业版有没有这个功能） b、经
2013-11-27 14:02:46
986
原创 关于sql连接语句中的Integrated Security=SSPI
解决方法：即：Security Support Provider Interface设置Integrated Security为 True 的时候，连接语句前面的 UserID, PW 是不起作用的，即采用windows身份验证模式。只有设置为 False 或省略该项的时候，才按照 UserID, PW 来连接。Integrated Security 可以设置为: True, false, yes
2013-11-27 14:02:44
1485
原创 ADO连接SQL Server2005
void CADODemoView::OnInitialUpdate(){ CListView::OnInitialUpdate(); // TODO: HRESULT hr; CString connStr=_T("Provider=SQLOLEDB.1;Integrated Security=SSPI;Persist Security Info=False;\ Initial Cat
2013-11-27 14:02:41
517
原创 SQL Server 2005重装问题解决方法
SQL Server 2005重装并不是像一般软件那样卸载后就可以重新安装的，会遇到麻烦的，具体我不清楚，我没重装过。但是这里有专家给出的明确的解决方法，大家可以看一下。 解决方法一 把.NET Framwork2.0重新安装了一遍，修复了一下。然后重新安装，就可以通过了！ 解决方法二 在开始菜单中点“运行”，输入“regedit”进入注册表，找到HKEY_LOCAL_MACHINE\SO
2013-11-27 14:02:39
669
原创 VC连接Mysql及开发详细指南
VC与MYSQL连接最近要用VC连接WEB上的MYSQL,在网上找了很多资料.都不是非常的详细。所以今天,我就把我自已怎样一步步连接MYSQL的步骤,以及语句等的写法一起写出来。一是为了自已备忘，同时也希望能对需要的朋友有帮助.准备工作：建议：以下最好都用方法1，简单易用，也可以防止以后使用麻烦。一、mysql.h头文件问题。因为新在VC工程,在里面要包含这样的头文件#include "winso
2013-11-27 14:02:37
684
原创 自己动手创建最精简的Linux
Linux一大亮点就是开源，相对于Windows我们可以在Linux上发挥更大的想象力，来亲手打造拥有自己特色的Linux系统，首先我们从打造最基本的微型的Linux系统入手，通过整个打造过程的体验，你就可以将自己的完整的Linux系统进行个性化设置，然自己用的Linux系统散发着自己的气息，让其更具亲合力!!下面我们就来直接操作，关于原理，会在每步中说明：一、准备阶段：硬件设施：一台宿主机、一个
2013-11-27 14:02:34
710
原创 11款用于优化、分析源代码的Java工具
1. PMD from http://pmd.sourceforge.net/PMD能够扫描Java 源代码，查找类似以下的潜在问题：可能的bug——try/catch/finally/switch语句中返回空值。死代码——未使用的局部变量、参数、私有方法。不理想的代码——使用String/StringBuffer。过于复杂的表达式——没有必要使用if语句、while循环可以代替for循环。重复代
2013-11-27 14:02:31
496
原创 SQLServer2008安装报Restart computer failed的解决办法
今天安装SQLServer 2008 SP1的时候报Restart Computer Failed，后来把下面注册表项的值设为空即可：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\PendingFileRenameOperations。
2013-11-27 14:02:29
12691
4
原创 世界500强最爱的25个刁钻面试题
面对有一年的求职管理 求职大战，应届毕业生更是眼花缭乱，慌不择路，屡战屡败。其实，在求职的路上，有许多规律可以探索，有许多规则需要遵守。毕业生，面对职场管理 职场的“勇将”，来看一看有什么经验是值得借鉴的吧。1.介绍你自己这个问题通常是一个面试,试题管理 面试的开始的第一个问题，要额外的小心不要滔滔不绝。尽可能的让你的回答在一分钟，最多2分钟的时间内结束。你的回答应该包含以下4个，主题：早期生活，
2013-11-27 14:02:27
661
原创 解决 linux下Firefox 不能加载 Applet 的问题
在 jre1.6.0_21/lib/i386/ 目录下可以找到一个 libnpjp2.so 文件，是和 Firefox 的 Java 插件有关的，在当前目录 /usr/lib/mozilla/plugins 下建立一个符号链接指向它： ln -s jre1.6.0_21/lib/i386/libnpjp2.so 以上命令生成了符号链接 libnpjp2.so，指向（->）jre1.6.
2013-11-27 14:02:24
2020
原创 【转】浅谈物联网的商业模式和经济模式
商业模式无论我们推广什么技术，首先要问目的是什么。物联网的目的在于“物物相连”这一点几乎得到共识，其次我们关心的是商业模式。RFID有两种需求，一种是来自政府项目、一种是来自民间的需求。有些可分阶段地分别处理，开始时是政府项目，定植于社会之中后时变成了民间项目。军事以及地震等灾害时的应急物流等肯定是政府项目，药品监控、食品安全是可以由政府转向民间的项目。民需物品的运输、配送就是纯民间项目了。在发展
2013-11-27 14:02:22
589
原创 云聚合：物联网商业模式的可行选择
出处：http://www.cww.net.cn/tech/html/2011/1/10/201111010625318_2.htm 物联网自提出以来已经成为信息产业界乃至全社会的热点，感知中国、智慧城市等说法不断被提出。不过，物联网并没有像人们预期的那样发展迅速，至今尚未形成具有市场规模的应用。之所以产生这一现象，其主要原因在于人们尚未找到有效的商业模式。既有模式缺乏价值思考
2013-11-27 14:02:20
771
原创 SaaS模式的中小企业客户关系管理研究
文章出处：http://soft.chinabyte.com/99/11835599.shtml 全球范围内，中小企业约占企业总数的90%以上。截止到2007年6月底，我国中小企业数量已达到4200多万户，占全国企业总量的99.8%，其中，经工商部门注册的中小企业数量为460万户，个体经营户3800多万户。中小企业实现的国内生产总值已占全国的60%，税收和进出口方面的比重分别占到全国的
2013-11-27 14:02:17
1487
原创 守护进程创建过程
(1)屏蔽一些有关控制终端操作的信号。这是为了防止在守护进程没有正常没有正常运行起来前，控制终端受到干扰退出或挂起。实现代码如下： signal(SIGTTOU,SIG_IGN); signal(SIGTTOU,SIG_IGN); signal(SIGTSTP,SIG_IGN); signal(SIGHUP,SIG_
2013-11-27 14:02:15
537
原创 避免zombie的方法
具体步骤 1)在SVR4中，如果调用signal或sigset将SIGCHLD的配置设置为忽略,则不会产生僵死子进程。另外,使用SVR4版的sigaction,则可设置SA_NOCLDWAIT标志以避免子进程僵死。 Linux中也可使用这个，在一个程序的开始调用这个函数 signal(SIGCHLD,SIG_IGN); 2)调用fork两次。 3)用waitpid等待子进程返回.
2013-11-27 14:02:12
682
原创 MAC地址获取
#include#include#include#include#include#include#includeint main(int argc,char * argv[]){ int i; struct ifreq ifr; int sock; char mac[32]; memset(&ifr,0,sizeof(ifr)); if((sock=socket
2013-11-27 14:02:10
495
原创 字符串编辑距离算法
我们来看一个实际应用。现代搜索技术的发展很多以提供优质、高效的服务作为目标。比如说：baidu、google、sousou等知名全文搜索系统。当我们输入一个错误的query="Jave" 的时候，返回中有大量包含正确的拼写 "Java"的网页。当然这里面用到的技术绝对不会是我们今天讲的怎么简单。但我想说的是：字符串的相似度计算也是做到这一点的方法之一。 字符串编辑距离：是一种字符串之间相似度计算
2013-11-27 14:02:08
789
原创 DIV实现完美模式窗口
无标题文档.black_overlay{ display: none; position: absolute; top: 0%; left: 0%; width: 100%; height: 100%; background-color: black; z-index:1001; moz-opacity: 0.3;
2013-11-27 14:02:05
852
原创 Operation not allowed after ResultSet closed 错误的解决方案
原因：一个Statement多个ResultSet进行操作，引起ResultSet已经关闭错误解决方案：让一个Statement对应一个ResultSet，操作完成后及时释放ResultSet和Statement
2013-11-27 14:02:03
1169
原创 【转】JSP/Servlet 获取真实IP地址
在JSP里，获取客户端的IP地址的方法是：request.getRemoteAddr（），这种方法在大部分情况下都是有效的。但是在通过了 Apache，Squid等反向代理软件就不能获取到客户端的真实IP地址了。如果使用了反向代理软件，用 request.getRemoteAddr（）方法获取的IP地址是：127.0.0.1或 192.168.1.110，而并不是客户端的真实ＩＰ。经过代理以后，由
2013-11-27 14:02:01
736
原创 jquery提取表单内容备忘录
TeleSearch manager login$(document).ready(function(){$("#submitform").submit(function(){count=$("input[name=account]").val();//这两个地方我用$("#account")，取不到值，郁闷了还几//个小时，最后发现用$("input[name=account]")可以取到值，这
2013-11-27 14:01:58
712
原创 java SAX使用范例
示例里使用的xml文件:books.xml? ? thinking in java? 85.5? ? ? Spring in Action? 39.0? ? ? 自定义Handler类：package test;import java.io.File;import java.io.IOException;import javax.xml.parsers.ParserConfigurationExc
2013-11-27 14:01:56
602
原创 htmlParser解析提取html文件内容
import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.InputStreamReader;import org.htmlparser.NodeFilter;import org.htmlparser.Parser;import org.htmlparser.fi
2013-11-27 14:01:54
807
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人