- 博客(42)
- 收藏
- 关注
RSS订阅原创 django使用group by
book_list = Book.objects.all() book_list.query.group_by = ['author'] query = Book.objects.all().query query.group_by = ['author'] book_list = QuerySet(query = query, model = Book) 还有 r
2015-06-25 11:14:27
1302
转载 java日期格式转化
转载地址：import java.util.*;import java.text.*;import java.util.Calendar;public class VeDate { /** * 获取现在时间 * * @return 返回时间类型 yyyy-MM-dd HH:mm:ss */ public static Date getNowDate() { D
2014-09-10 17:52:27
780
原创 itext报错PdfReader not opened with owner password
Exception in thread "main" java.lang.IllegalArgumentException: PdfReader not opened with owner passwordat com.lowagie.text.pdf.PdfReaderInstance.getImportedPage(Unknown Source)at com.lowagie.text.
2014-09-09 09:35:12
7079
转载 nutch的抓取目录解释
转载自：http://blog.csdn.net/javaman_chen/article/details/71800761、Apache Nutch Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch lists:将Web
2014-08-13 17:43:21
930
原创 Solr4.4 + hadoop2.0 + nutch1.8
Solr4.4 + hadoop2.0 + nutch1.8先说一点nutch2.2.1不支持hadoop2.0而1.8是最新版本。如果想用nutch2.2.1需要做代码兼容要修改hadoop和nutch源码。公司最近要做一个客户的数据分析。在原有的hadoop集群上进行分析。但是该公司的数据需要从固定网上爬取下来。所以就研究了下nutch。但是研究发现hadoop本身就是脱离于nutch
2014-08-13 10:06:39
2003
原创 hive的join和复合数据类型
Hive对一下两个表进行join hive> select * from table1;OK1 a2 b3 chive> select * from table2;OK1 e2 f4 d两个表的格式都一样如下： hive> desc table1;OKid
2014-08-01 18:08:31
802
原创 MapReduce程序处理hdfs中数据乱码问题
最近在写MapReduce程序，实现Writable接口时发现总是读不进中文字，读出来全是乱码，找了一晚上发现问题，原来hadoop只支持UTF-8的字符集，因此，在存储Text变量时要先把string变量转换成UTF-8的字符集，再给Text赋值。问题解决。
2014-07-28 16:06:00
3106
转载 hdfs清理回收站
转载自:http://blog.csdn.net/chenyi8888/article/details/7280032Hadoop回收站trash，默认是关闭的。 修改conf/core-site.xml,增加 property> name>fs.trash.intervalname> value>3value> description>N
2014-07-28 16:04:40
2073
转载 mouseover和mouseout多次出发解决方案。
原文地址：http://litib.tk/2010/08/mouseover%E5%92%8Cmouseout%E5%A4%9A%E6%AC%A1%E8%A7%A6%E5%8F%91%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/在用到mouseover和mouseout事件来作为事件触发的条件，但是如果我们用做触发的元素内部有其他的元素的时候当鼠标移上的
2014-07-18 12:38:48
1176
原创 A read-only user or a user in a read-only database is not permitted to disable
A read-only user or a user in a read-only database is not permitted to disab
2014-06-24 13:26:56
4010
原创 could not translate host name “localhost”, service “5432″ to address: Name or service not known
我花了2天时间安装cloudera-manager.bin在centos6.4下，一致报错，百度上搜索所有的问题，一个都meiy
2014-06-20 17:19:59
9194
1
原创 Centos清理内存 内存回收释放及内存使用查看的相关命令
在清理前内存使用情况free -m用以下命令清理内存echo 1 > /proc/sys/vm/drop_caches清理后内存使用情况再用以下命令看看。free -m多出很多内存了吧。查看内存条数命令：dmidecode |grep -A16 "Memory Device$"
2014-06-18 10:59:00
931
原创 ambari安装以及基于ambari的hadoop集群搭建
Ambari安装文档英文安装文档：https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.0+from+Public+Repositories
2014-06-13 17:37:08
1147
原创 centos下安装中文输入法
本人centos6.4,下an1.用root登录 ，或su root2.yum install "@Chinese Support"3.exit4.回到桌面，system->preferences->input method5.如果没有，先注销一下。6.到里面add输入法到列表里。7.最后再注销、登录。在centOS 6.4下面测试无误。
2014-06-12 16:18:03
661
原创 centos下卸载自带jdk
由于centos下有自带的jdk版本。但是我们使用的时候一般不适用自带的jdk，所以我们就需要卸载了自带的jdk然后anzhua
2014-06-12 10:58:36
844
转载 Hbase基本操作
Hbase基本操作 Hbase中主要的客户端接口是HTable类，HTable提供了对数据的所有CRUD操作。需要注意的是由于创建HTabe实例比较耗时， 所以在实际使用中最好创建单例模式的HTable实例，不过如果需要多个HTable实例的话，可以考虑使用HBase的HTablePool特性（下面后讲到）。Hbase不提供直接的update操作。由于Hbase中数据存储有版本支持。
2014-06-05 16:45:10
1642
原创 Hbase入门
Hbase简介Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索
2014-06-05 16:23:34
1228
原创 CHD4安装hadoop2.0
Cdh4安装需要支持的系统和jdk版本。Jdk版本兼容：1.6.0.31至少。对于jdk1.7，cdh4.2和以后的版本支持，jdk至少1.7.0_15系统兼容如下： 我采用的是centos6.4 ，64位版本。Jdk是1.6.0.45(64位版本)，所以如下命令也是在centos6.4（64位）下，如果您采用了别的版本，请访问下方地址。如果您需要使用可以联系
2014-06-04 15:53:48
1174
原创 hbase程序一直报错
ERROR cleanup.org.kiji.schema.util.DebugResourceTracker: Found 1 unclosed resources. Run with system
2014-06-04 14:46:50
762
原创 去除windows的桌面快捷方式
在桌面创建一个txt文件输入如下内容，然后@echo offcolor 2reg delete HKCR\lnkfile /v IsShortcut /freg delete HKCR\piffile /v IsShortcut /freg delete HKCR\InternetShortcut /v IsShortcut /ftaskkill /f /im explorer.ex
2014-05-26 16:10:17
675
转载 linux下安装openfire+spark
转载自：http://www.linuxidc.com/Linux/2012-09/69539.htm
2014-05-26 11:38:41
729
转载 linux下使用yum安装mysql
转载自：http://www.2cto.com/database/201207/141878.htmllinux下使用yum安装mysql 1、安装查看有没有安装过： yum list installed mysql* rpm -qa | grep mysql* 查看有没有安装包：
2014-05-23 17:29:47
609
转载 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)
结果终端提示:无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？”解决办法如下：1.终端输入 ps -aux ，列出进程,找到含有apt-get的进程，直接sudo kill PID解决。2.强制解锁--命令:sudo rm /var/ca
2014-05-15 12:54:49
631
转载 hadoop 0.23 YARN分布式程序的编写 （Hadoop MapReduce Next Generation - Writing YARN Applications）
转载自：http://blog.csdn.net/bertzhang/article/details/7102579本来想直接转载过来，但是
2014-05-13 18:00:46
854
原创 Apache Hadoop 2.2.0MapReduce1.x向2.x迁徙
在hadoop的2.x中我们引入了一个资源管理器，一个分布式应用的管理框架，同时MRv2仍然是一个纯净的分布式计算框架。总的来讲，以前的MR应用(MRv1)仍然支持不需要做任何修改。因此MRv2仍然大部分支持MRv1的应用，不过仍然需要代码改进和重构，一些api将被不推荐使用。余下部分将会讨论MRv2的向后兼容能力。二进制兼容首先基于旧mapred api的二进制程
2014-05-13 17:55:50
714
转载 centos6.4下安装apache的httpd服务
转载自：http://blog.sina.com.cn/s/blog_71f475350101c5of.html
2014-05-07 22:33:46
887
转载 hadoop2.0全分布环境搭建
经过好多天的各种折腾，终于在几台电脑里面配置好了Hadoop2.2.0分布式系统，现在总结一下如何配置。 前提条件： （1）、首先在每台Linux电脑上面安装好JDK6或其以上版本，并设置好JAVA_HOME等，测试一下java、javac、jps等命令是否可以在终端使用，如何配置JDK这里就不说了； （2）、在每台Linux上安装好SSH，如何安装请参加《Linux平台下安
2014-05-05 18:23:30
800
转载 hadoop2.0为分布式搭建
本文转载自http://www.iteblog.com/archives/790 首先，你得在电脑上面安装好jdk7，如何安装，这里就不说了，网上一大堆教程！然后安装好ssh，如何安装请参见本博客《Linux平台下安装SSH》、并设置好无密码登录（《Ubuntu和CentOS如何配置SSH使得无密码登陆》）。好了，上面的前提条件部署好之后，下面将进入Hadoop2.2.0的部署。运
2014-05-05 18:18:15
637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人