- 博客(17)
- 资源 (6)
- 收藏
- 关注
翻译 Nutch技术手册——AboutPlugin
Nutch’s plugin system is based on the one used in Eclipse 2.x. Plugins are central to how Nutch works. All of the parsing, indexing and searching that Nutch does is actually accomplished by various plu
2015-09-24 10:39:36 875
原创 『爬虫问题解决』(一)nutch异常
Nutch在eclipse中编译的时候出现了异常InjectorJob: starting at 2015-09-23 10:20:55InjectorJob: Injecting urlDir: /root/urlsInjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.
2015-09-23 10:40:52 2123 1
原创 HBase搭建并使用Java调用HBaseAPI
1、HBase的搭建1.1下载HBase0.94.141.2修改 conf/hbase-site.xml<configuration> <property> <name>hbase.rootdir</name> <value>file:///root/test/hbase</value> </property><property> <name>hbase.zookeepe
2015-09-22 14:59:50 4219 1
转载 nutch源代码阅读心得
原文地址http://www.javaeye.com/topic/570440主要类分析:一、 org.apache.nutch.crawl.Injector: 1,注入url.txt 2,url标准化 3,拦截url,进行正则校验(regex-urlfilter.txt) 4,对符URL标准的url进行map对构造,在构造过程中给CrawlD
2015-09-17 20:49:28 512
原创 Nutch第一次搭建部署总结
首先按照教程http://blog.csdn.net/fonxian/article/details/48522479 安装HBase,安装的过程中发现搭建Nutch需要其他额外的几样工具,HBase、ZooKeep、Hadoop、Solr ,它们的分工是,Nutch负责抓取数据,HBase则负责将数据存储起来,Solr是负责建立索引,Hadoop则是为Nutch和HBase提供一个分布式的环境
2015-09-17 20:43:35 2243
翻译 Ubuntu下HBase安装
1.2. Quick Start - Standalone HBaseThis guide describes setup of a standalone HBase instance running against the local filesystem. This is not an appropriate configuration for a production instance
2015-09-17 15:58:48 1302
转载 Nutch 快速入门(Nutch 2.2.1)
原文:http://cn.soulmachine.me/blog/20140201/Nutch 2.x 与 Nutch 1.x 相比,剥离出了存储层,放到了gora中,可以使用多种数据库,例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。1. 安装并运行HBase为了简单起见,使用Standalo
2015-09-17 15:32:56 1336
原创 Hadoop —— Ubuntu单机环境部署Hadoop1.2.1
建立ssh无密码登陆本机root@fonxian-desktop:~# apt-get install openssh-serverroot@fonxian-desktop:~# ssh-keygen -t rsa -P " "root@fonxian-desktop:~/.ssh# cat id_rsa.pub >> authorized_keysHadoop部署下载hadoop1.2.11、
2015-09-17 11:28:54 1006
原创 面试——计算机网络专项练习题(一)
1、一个广域网和一个局域网相连,且需要进行协议转换,需要的设备是什么。A. 路由器 B. 网关 C. 集线器 D. NIC网关是局域网连接广域网的出口,可以工作在OSI模型网络层以上的不同层次。实质上是一个网络通向其他网络的IP地址 路由器工作在网络层,处理网络层的数据分组,决定数据分组的转发 NIC,网卡(也叫网络适配器),整理计算机上发往网线上的数据,并将数据分解为适当大小的数据
2015-09-16 00:07:03 1067
原创 Win10系统问题解决——关键错误开始菜单和cortana无法工作
系统运行着突然自动关机,重启之后出现“关键错误开始菜单和cortana无法工作“的提示解决方法:打开控制面版——切换到小图标模式——找到”管理工具‘——“服务”——“User Manager”——将”禁用“更改为”打开“——重新启动,即可解决问题如果觉得这里没有图片,操作起来有点困难,可以查看下面的链接点击打开链接对照着图片进行操作,几步就可以解决问题
2015-09-14 17:58:29 2185
原创 单例模式的几种写法
实现方法一 public static class Singleton{ private static final Singleton instance = new Singleton(); private Singleton(){} public static Singleton getInstance(){ retur
2015-09-11 16:25:10 616
原创 RSA加密算法
对称加密算法就是A使用一种规则对信息进行加密,B使用同样一种规则对信息进行解密,安全性并不好而非对称加密算法,则是A生成两种不同的规则(即公钥和私钥),B使用A的公钥对信息加密,A使用自己的私钥对信息解密,公钥大家公有的,比如C也想给A传信息,就可以用A的公钥对信息加密,发送给A,而B因为没有A的私钥,看不了C发给A的信息
2015-09-11 00:50:57 1585
原创 【Linux】使用Ubuntu过程中遇到的问题
记录在使用ubuntu过程中遇到的问题1、非正常关机(例如断电,强制关机)后,无法正常启动如果开机启动界面上出现了F...I...S..M的字样,用键盘输入F,进行fix(修复)即可解决问题2、安装jdk、tomcat、maven、虚拟机文章链接3、eclipse不显示菜单栏文章链接4、解压文章链接5、Linux常用命令文章链接6、Linux的root密
2015-09-10 18:09:04 546
原创 SpringMVC环境配置
所需要的包可在本站下载http://download.csdn.net/detail/fonxian/9079125在WEB-INF下配置web.xml和spring-servlet.xml(若web.xml中servlet-name 设置为xxx,则配置文件也要改成xxx-servlet.xml,这里需要特别注意),只需要配置这两个文件就好。 1、web.xml配置<?xml version=
2015-09-05 08:12:05 568
原创 Java虚拟机学习(一)
虚拟机的结构类的加载器、运行时数据区、执行引擎 其中运行时数据区分为堆、虚拟机栈、本地方法栈、方法区和程序计数器 方法区和堆是线程公有,其他的都是线程私有运行时数据区1.1程序计数器 程序计数器也是jvm的一块内存区域,不过它不会发生OutOfMemoryError的异常,消耗的内存很小,相比java栈堆,可以忽略掉。它的作用是通过计数器的值寻找执行指令的字节码,因为线程切换时需要恢复每一个线
2015-09-04 17:21:59 637
原创 问题解决——Ubuntu中eclipse不显示目录
Ubuntu下的eclipse不能显示工作台的File Edit Source 等菜单项可以写一个简单的脚本来解决,新建一个文本,后缀为xx.sh#!/bin/bashexport UBUNTU_MENUPROXY=0/home/fonxian/Software/eclipse/eclipse最后的一行/home......是eclipse的所在的目录在终端 输入 chmo
2015-09-01 10:19:16 1900 1
原创 问题解决——maven出现“Dynamic Web Module 3.0 requires Java 1.6 or newer.”错误
在ubuntu下使用maven搭建web项目,需要用到tomcat服务器来运行。所以需要“项目——右键——配置——Maven Project Facets——勾选Dynamic Web Module但会出现提示Dynamic Web Module 3.0 requires Java 1.6 or newer。开始是以为我的jdk的问题,但jdk确实没有问题,是1.7的版本。解决方法
2015-09-01 10:02:41 1285 5
设计模式之禅
2015-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人