自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(42)
  • 收藏
  • 关注

原创 django使用group by

book_list = Book.objects.all() book_list.query.group_by = ['author']   query = Book.objects.all().query query.group_by = ['author'] book_list = QuerySet(query = query, model = Book)   还有 r

2015-06-25 11:14:27 1302

转载 java日期格式转化

转载地址:import java.util.*;import java.text.*;import java.util.Calendar;public class VeDate { /** * 获取现在时间 * * @return 返回时间类型 yyyy-MM-dd HH:mm:ss */ public static Date getNowDate() { D

2014-09-10 17:52:27 780

原创 介绍几个java把网页报存为图片的框架

java几个不错的截图工具。

2014-09-09 09:47:51 4332

原创 itext报错PdfReader not opened with owner password

Exception in thread "main" java.lang.IllegalArgumentException: PdfReader not opened with owner passwordat com.lowagie.text.pdf.PdfReaderInstance.getImportedPage(Unknown Source)at com.lowagie.text.

2014-09-09 09:35:12 7079

原创 mysql只导出表结构或数据

mysql几个导入导出数据命令。

2014-08-14 10:10:44 1256

转载 nutch的抓取目录解释

转载自:http://blog.csdn.net/javaman_chen/article/details/71800761、Apache Nutch   Apache Nutch是一个用于网络搜索的开源框架,它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch lists:将Web

2014-08-13 17:43:21 930

原创 Solr4.4 + hadoop2.0 + nutch1.8

Solr4.4 + hadoop2.0 + nutch1.8先说一点nutch2.2.1不支持hadoop2.0而1.8是最新版本。如果想用nutch2.2.1需要做代码兼容要修改hadoop和nutch源码。公司最近要做一个客户的数据分析。在原有的hadoop集群上进行分析。但是该公司的数据需要从固定网上爬取下来。所以就研究了下nutch。但是研究发现hadoop本身就是脱离于nutch

2014-08-13 10:06:39 2003

原创 hive的join和复合数据类型

Hive对一下两个表进行join hive> select * from table1;OK1       a2       b3       chive> select * from table2;OK1       e2       f4       d两个表的格式都一样如下: hive> desc table1;OKid    

2014-08-01 18:08:31 802

原创 hive创建外部表需要注意的一个问题

hive创建外部表需要用到location关键字,这个时候location后边需要注意的就是

2014-08-01 15:54:26 1175

原创 MapReduce程序处理hdfs中数据乱码问题

最近在写MapReduce程序,实现Writable接口时发现总是读不进中文字,读出来全是乱码,找了一晚上发现问题,原来hadoop只支持UTF-8的字符集,因此,在存储Text变量时要先把string变量转换成UTF-8的字符集,再给Text赋值。问题解决。

2014-07-28 16:06:00 3106

转载 hdfs清理回收站

转载自:http://blog.csdn.net/chenyi8888/article/details/7280032Hadoop回收站trash,默认是关闭的。 修改conf/core-site.xml,增加 property>  name>fs.trash.intervalname>  value>3value>  description>N

2014-07-28 16:04:40 2073

原创 从本地上传整个文件夹到hdfs的java程序

从本地上传整个文件夹到hdfs的java程序

2014-07-25 10:50:49 4953 2

原创 activejdbc在maven中的save失败原因之一

首先我的项目是maven项目,在此中遇到的问题不知道在普通项目中是否也有ci

2014-07-23 13:17:18 1262

转载 mouseover和mouseout多次出发解决方案。

原文地址:http://litib.tk/2010/08/mouseover%E5%92%8Cmouseout%E5%A4%9A%E6%AC%A1%E8%A7%A6%E5%8F%91%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/在用到mouseover和mouseout事件来作为事件触发的条件,但是如果我们用做触发的元素内部有其他的元素的时候当鼠标移上的

2014-07-18 12:38:48 1176

原创 A read-only user or a user in a read-only database is not permitted to disable

A read-only user or a user in a read-only database is not permitted to disab

2014-06-24 13:26:56 4008

原创 could not translate host name “localhost”, service “5432″ to address: Name or service not known

我花了2天时间安装cloudera-manager.bin在centos6.4下,一致报错,百度上搜索所有的问题,一个都meiy

2014-06-20 17:19:59 9191 1

原创 Centos清理内存 内存回收释放及内存使用查看的相关命令

在清理前内存使用情况free -m用以下命令清理内存echo 1 > /proc/sys/vm/drop_caches清理后内存使用情况再用以下命令看看。free -m多出很多内存了吧。查看内存条数命令:dmidecode |grep -A16 "Memory Device$"

2014-06-18 10:59:00 931

原创 had oop手动退出安全模式

我们学习的时候可能需要重启hadoop集群,可能会碰到hadoop

2014-06-14 04:57:14 1019

原创 ambari安装以及基于ambari的hadoop集群搭建

Ambari安装文档英文安装文档:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.0+from+Public+Repositories

2014-06-13 17:37:08 1147

原创 centos下安装中文输入法

本人centos6.4,下an1.用root登录 ,或su root2.yum install "@Chinese Support"3.exit4.回到桌面,system->preferences->input method5.如果没有,先注销一下。6.到里面add输入法到列表里。7.最后再注销、登录。在centOS 6.4下面测试无误。

2014-06-12 16:18:03 661

原创 centos下卸载自带jdk

由于centos下有自带的jdk版本。但是我们使用的时候一般不适用自带的jdk,所以我们就需要卸载了自带的jdk然后anzhua

2014-06-12 10:58:36 844

原创 使用putty远程连接linux防止关闭putty程序就停止

如题:有时候我们使用putty连接linux的时候zhi

2014-06-11 14:53:18 6883

转载 Hbase基本操作

Hbase基本操作  Hbase中主要的客户端接口是HTable类,HTable提供了对数据的所有CRUD操作。需要注意的是由于创建HTabe实例比较耗时, 所以在实际使用中最好创建单例模式的HTable实例,不过如果需要多个HTable实例的话,可以考虑使用HBase的HTablePool特性(下面后讲到)。Hbase不提供直接的update操作。由于Hbase中数据存储有版本支持。

2014-06-05 16:45:10 1638

原创 Hbase入门

Hbase简介Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索

2014-06-05 16:23:34 1228

原创 CHD4安装hadoop2.0

Cdh4安装需要支持的系统和jdk版本。Jdk版本兼容:1.6.0.31至少。对于jdk1.7,cdh4.2和以后的版本支持,jdk至少1.7.0_15系统兼容如下:    我采用的是centos6.4 ,64位版本。Jdk是1.6.0.45(64位版本),所以如下命令也是在centos6.4(64位)下,如果您采用了别的版本,请访问下方地址。如果您需要使用可以联系

2014-06-04 15:53:48 1174

原创 hbase程序一直报错

ERROR cleanup.org.kiji.schema.util.DebugResourceTracker: Found 1 unclosed resources. Run with system

2014-06-04 14:46:50 762

原创 去除windows的桌面快捷方式

在桌面创建一个txt文件输入如下内容,然后@echo offcolor 2reg delete HKCR\lnkfile /v IsShortcut /freg delete HKCR\piffile /v IsShortcut /freg delete HKCR\InternetShortcut /v IsShortcut /ftaskkill /f /im explorer.ex

2014-05-26 16:10:17 673

转载 linux下安装openfire+spark

转载自:http://www.linuxidc.com/Linux/2012-09/69539.htm

2014-05-26 11:38:41 729

原创 tar 报错gzip: stdin: not in gzip format

今天下载一个gz压缩包,使用tar -zxvf   解压缩报错错误如下:

2014-05-23 18:01:53 791

转载 linux下使用yum安装mysql

转载自:http://www.2cto.com/database/201207/141878.htmllinux下使用yum安装mysql 1、安装查看有没有安装过:          yum list installed mysql*          rpm -qa | grep mysql* 查看有没有安装包:     

2014-05-23 17:29:47 609

转载 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)

结果终端提示:无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/),是否有其他进程正占用它?”解决办法如下:1.终端输入 ps  -aux ,列出进程,找到含有apt-get的进程,直接sudo kill PID解决。2.强制解锁--命令:sudo rm /var/ca

2014-05-15 12:54:49 631

转载 hadoop 0.23 YARN分布式程序的编写 (Hadoop MapReduce Next Generation - Writing YARN Applications)

转载自:http://blog.csdn.net/bertzhang/article/details/7102579本来想直接转载过来,但是

2014-05-13 18:00:46 854

原创 Apache Hadoop 2.2.0MapReduce1.x向2.x迁徙

在hadoop的2.x中我们引入了一个资源管理器,一个分布式应用的管理框架,同时MRv2仍然是一个纯净的分布式计算框架。总的来讲,以前的MR应用(MRv1)仍然支持不需要做任何修改。因此MRv2仍然大部分支持MRv1的应用,不过仍然需要代码改进和重构,一些api将被不推荐使用。余下部分将会讨论MRv2的向后兼容能力。二进制兼容首先基于旧mapred api的二进制程

2014-05-13 17:55:50 714

原创 虚拟机上网并ssh连接的技巧

今天安装了vm10和debian6使用nat方式连接vm8s

2014-05-13 13:25:22 1005

原创 linux下寻找某个目录或者文件

find      /path(目录)  -name   '文件夹名称' -type   -d凑所wenjia

2014-05-08 14:44:54 829

原创 linux下关掉占用某端口的进程

命令如下:netstat -anp |grep :port

2014-05-07 22:43:51 882

转载 centos6.4下安装apache的httpd服务

转载自:http://blog.sina.com.cn/s/blog_71f475350101c5of.html

2014-05-07 22:33:46 887

原创 vm虚拟机主机和宿主机连接

理论上vm虚拟机中的系统配置ton

2014-05-06 14:44:43 1121

转载 hadoop2.0全分布环境搭建

经过好多天的各种折腾,终于在几台电脑里面配置好了Hadoop2.2.0分布式系统,现在总结一下如何配置。  前提条件:  (1)、首先在每台Linux电脑上面安装好JDK6或其以上版本,并设置好JAVA_HOME等,测试一下java、javac、jps等命令是否可以在终端使用,如何配置JDK这里就不说了;  (2)、在每台Linux上安装好SSH,如何安装请参加《Linux平台下安

2014-05-05 18:23:30 800

转载 hadoop2.0为分布式搭建

本文转载自http://www.iteblog.com/archives/790 首先,你得在电脑上面安装好jdk7,如何安装,这里就不说了,网上一大堆教程!然后安装好ssh,如何安装请参见本博客《Linux平台下安装SSH》、并设置好无密码登录(《Ubuntu和CentOS如何配置SSH使得无密码登陆》)。好了,上面的前提条件部署好之后,下面将进入Hadoop2.2.0的部署。运

2014-05-05 18:18:15 637

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除