2015年09月_Little-Spark

12月 11月 10月 09月

转载 JAVA实现json和对象间的相互转换，支持复杂对象格式

jackson-core-asl-1.9.12.jar jackson-mapper-asl-1.9.12.jar package com.psd.test; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.List; import org.apache.commons.

2015-09-28 11:16:35 4288

原创 Nutch爬虫爬取视频研究文档

一、爬虫框架说明爬虫框架使用Nutch1.7+Solr4.3+Jsoup1.7.1。其中，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。我们主要用它来爬取页面，检索我们用的Solr框架，它的功能比Nutch自带的搜索强大。 Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展

2015-09-25 15:41:01 2601 1

原创问题汇总

1、kafka数据重复问题 2、

2015-09-25 15:39:48 341

原创实现一个工具类，可以把HBase任意表的任意多的列导出到任意指定的HDFS中

package hbase; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apac

2015-09-23 19:39:11 441

原创 HBase设置jar包运行所需要的环境变量

一、写shell脚本，设置jar包运行所需要的环境变量 vi /download/set_hadoop_classpath pt='.' for jar in `ls /usr/local/hbase/lib/*.jar` do pt=$pt:$jar done 二、当前用户下，生效脚本 source /download/set_hadoop_classpath

2015-09-22 07:23:21 1670

原创 Redis安装

一、首先安装c的编译环境参考：http://xueliang1yi.blog.163.com/blog/static/1145570162012102114635764/ yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernhea

2015-09-20 20:35:49 343

原创 VM10安装CentOS6.5网络配置

1、安装CentOs虚拟机时，选择网卡为桥接方式 2、安装完毕后，图形界面进入系统，修改IP为静态地址安装完成，系统会默认选择自动生成IP，右击网络图标选择Connection Infomation，查看自动生成IP信息，为手动修改IP提供参考 3、修改IP为静态地址后，通过命令重启网络或者重启虚拟机，就ok了

2015-09-05 13:55:39 511

转载 Windows下使用Hadoop2.6.0-eclipse-plugin插件

首先说一下本人的环境: Windows7 64位系统 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这

2015-09-04 19:00:55 1718

转载 vmware下启动Centos虚拟机报错虚拟无法打开磁盘

“打不开磁盘“H:\centos-6.0-710\CentOS 64 位.vmdk”或它所依赖的某个快照磁盘 ” 原因: 未能锁定文件” 这主要是非正常关虚拟机造成的，具体原因如下：虚拟机为了防止有多虚拟机共用一个虚拟磁盘（就是后缀为.vmdk那个文件）造成数据的丢失和性能的削弱，每次启动虚拟机时会给每个虚拟磁盘加一个磁盘锁（也就是后缀为.lck的那个文件夹）对虚拟磁盘文件进行

2015-09-04 18:57:50 3239

原创使用目前hadoop内置的序列化类(不使用自定义序列化类)，实现流量统计的功能

代码如下： package hadoop2; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import

2015-09-04 16:50:10 464