hbase 0.90.6 +nutch 2.0整合

最新推荐文章于 2015-05-20 23:35:59 发布
最新推荐文章于 2015-05-20 23:35:59 发布
阅读量1.4k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/east271536394/article/details/8962720
版权
1. 安装hbase 
   a)下载hbase-0.90.6.tar.gz版本
   b)解压hbase-0.90.6
   c)配置java_home
       vim /conf/hbase-env.sh
       export JAVA_HOME=/home/seal/seal/workspace/jdk1.7.0_04
   d)执行bin/start-hbase.sh
 
2. 安装nutch 
    a)下载apache-nutch-2.1

    b)修改/conf/nutch-site.xml 文件
          
      <property>  
                <name>storage.data.store.class</name>  
                 <value>org.apache.gora.hbase.store.HBaseStore</value>  
                 <description>The Gora DataStore class for storing and retrieving data. </description>  
      </property>

    c)修改conf/gora.properties
        gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
        #gora.datastore.default=org.apache.gora.mock.store.MockDataStore
        #gora.sqlstore.jdbc.driver=org.hsqldb.jdbc.JDBCDriver
        #gora.sqlstore.jdbc.url=jdbc:hsqldb:hsql://localhost/nutchtest
        #gora.sqlstore.jdbc.user=sa
        #gora.sqlstore.jdbc.password=
      d)修改ivy/ivy.xml
         
     <dependency org="org.apache.gora" name="gora-hbase" rev="0.2.1" conf="*->default" />
        e)使用ant build
        ant -f build.xml
        f)将hbase 中的jar 文件copy 到nutch的lib中来。
3. 测试
    在/home/seal/seal/workspace/apache-nutch-2.1/runtime/local/bin路径下新增加urls.txt 文件，内容为 http://knet.cn/ 
    ./nutch crawl urls.txt  -depth 3 -topN 100
测试日志:

   

检查hbase 里的数据信息



问题:
[seal@epp2 bin]$ ./nutch inject urls.txt 
InjectorJob: starting
InjectorJob: urlDir: urls.txt
Skipping www.knet.cn:java.net.MalformedURLException: no protocol: www.knet.cn

解决办法 


East271536394
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
nutch-2.2.1 hbase-0.90.6 solr-4.7.0 集成搭建笔记
shunbenben的专栏
04-02 1332
这两天搭建了基于nutch-2.2.1 hbase-0.90.6 solr-4.7.0 的本地搜索引擎，其中遇到了不少问题，故回忆着将过程和问题整理一下，以供交流 一 下载所需要文件 Nutch:  http://mirrors.cnnic.cn/apache/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz Hbase:  http://archive.a
Nutch-2.2.1学习之四Nutch与Hbase结合使用时常见问题
热门推荐
skyWalker_ONLY
12-02 1万+
Nutch-2.2.1不再使用单一的存储结构，而是通过使用Apache Gora，是得Nutch-2.2.1可以将数据存储在诸如HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStor中。这一变化在提供更多选择，更多灵活性的同时，势必增加了Nutch的复杂性。相信很多人在从Nutch-1.x版本过渡到Nutch-2.x版本时都或多或少的遇到
大数据——hadoop1.2.1+hbase0.94.11+nutch2.2.1+elasticsearch0.90.5安装配置攻略（中集）
没有什么不可能
01-20 1331
hadoop1.2.1+hbase0.94.11+nutch2.2.1+elasticsearch0.90.5配置详见安装配置攻略（上集） 接下来具体实现单机伪分布式爬取！ 一 首先启动hadoop(配置完成可在任意目录下。也可在hadoop目录下) $ start-all.sh $ jps 二 启动hbase(配置完成可在任意目录下。也可在hadoop目录下)开启hbase之前，
搭建Hadoop2.6+Hbase0.98.6+Nutch2.3环境
q79969786的专栏
05-20 2140
编译Nutch并抓取网页
SQLAlchemy-2.0.31-cp38-cp38-musllinux_1_2_aarch64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
基于SpringBoot和Vue的个人财务智能管理系统-毕业设计-课程设计-源代码-论文
08-31
博客：https://pythonhacker.blog.csdn.net/article/details/141756457 随着信息技术在管理上越来越深入而广泛的应用，管理信息系统的实施在技术上已逐步成熟。本文介绍了个人理财系统的开发全过程。通过分析个人理财系统管理的不足，创建了一个计算机管理个人理财系统的方案。文章介绍了个人理财系统的系统分析部分，包括可行性分析等，系统设计部分主要介绍了系统功能设计和数据库设计。 本个人理财系统管理员功能有个人中心，用户管理，账单类型管理。用户功能有个人中心，收入账单管理，支出账单管理，理财计划管理，统计分析管理，备忘录管理等。因而具有一定的实用性。 本站是一个B/S模式系统，采用SSM框架，MYSQL数据库设计开发，充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得个人理财系统管理工作系统化、规范化。本系统的使用使管理人员从繁重的工作中解脱出来，实现无纸化办公，能够有效的提高个人理财系统管理效率。
CUDA加速-基于CUDA加速实现最小生成树算法-数据并行Boruvka算法-附项目源码-优质项目实战.zip
08-31
CUDA加速_基于CUDA加速实现最小生成树算法_数据并行Boruvka算法_附项目源码_优质项目实战
SQLAlchemy-2.0.0-cp311-cp311-win_amd64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
读研必备·学术风格PPT模板精选集
08-31
《读研必备·学术风格PPT模板精选集》是专为研究生及科研人员设计的PPT模板合集。该模板集融合了多种学术场合所需的严谨与美观，从封面到目录、正文到结语，每一页都经过精心设计，旨在帮助用户快速制作出符合学术规范、展现研究成果的高质量PPT。模板涵盖科研报告、学术会议、毕业答辩等多种应用场景，提供丰富的图表、图标和配色方案，让您的演示内容更加直观、生动。同时，模板易于编辑，支持个性化定制，助您轻松应对各种学术展示需求。
SQLAlchemy-2.0.31-cp38-cp38-macosx_11_0_arm64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
【赠】5G专网赋能工业数字化白皮书(PDF).pdf
最新发布
08-31
【赠】5G专网赋能工业数字化白皮书(PDF)
常用芯片手册芯片资料J112常用芯片手册芯片资料J112
08-31
常用芯片手册芯片资料J112常用芯片手册芯片资料J112提取方式是百度网盘分享地址
494、基于STM32单片机设的四轴飞行器和飞控遥控器（原理图、PCB图、源代码）
08-31
494、基于STM32单片机设的四轴飞行器和飞控遥控器（原理图、PCB图、源代码） 该设计为STM32单片机设的四轴飞行器和飞控遥控器，分为四轴飞行器和飞控遥控器，分别提供原理图、PCB图、源代码； 功能如下： 1、使用STM32单片机为核心设计； 2、使用NRF24L01无线模块控制； 3、四轴飞行器和飞控遥控器； 4、提供原理图、PCB图、源代码；
各省互联网网民数和互联网普及率.xlsx
08-31
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141286857 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 各省、地级市、区县互联网普及率、宽带接入户数和电话用户数等 1、全国互联网网民数和互联网普及率（1997-2020年）； 2、各省互联网网民数和互联网普及率（1997-2016年）； 3、地级市互联网宽带接入用户（1996-2020年）； 4、各区县电话用户数（2004-2019年）
495、基于STM32开发的两轮自平衡小车系统设计（原理图、PCB图、源代码）
08-31
495、基于STM32开发的两轮自平衡小车系统设计（原理图、PCB图、源代码） 首先说一下硬件用的哪些：主控芯片用的是100脚的STM32F103VET6，陀螺仪用的是MPU6050，电机驱动用的是TB6612，蓝牙是汇承的HC05邮票孔封装的，WIFI用的是济南有人科技的USR-WIFI232-S，小车底盘用的是平衡小车之家的某一款带编码器的（不是我买的，同学的），电池用的是一节7.2的镍镉电池，液晶用的是中景园电子1.3寸IIC接口的OLED，开关用的是三脚纽子开关，电池接口用的是T插，电阻电容这些用的基本上是0603封装，编码器5V降压用的是ASM1117-5.0，3.3V降压用的是SP6203，拨码开关用的是4P贴片式2.54mm角距的，按键是两脚贴片，microusb接口用的是5针 7.2四脚插板牛角母座，超声波是某宝上几块钱烂大街的那种，蜂鸣器是有源的，编码器是小车底盘自带的，电池电压检测是电阻分压之后通过电压跟随器接入MCU内部AD测量的。 然后再说一下主控板上的资源：STM32F103VET6主控芯片；两个microusb口，第一个是MCU的串口1，可作为普通
SQLAlchemy-2.0.31-cp312-cp312-manylinux_2_17_aarch64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
lxml-5.0.0-pp310-pypy310_pp73-win_amd64.whl
08-31
lxml 是一个用于 Python 的库，它提供了高效的 XML 和 HTML 解析以及搜索功能。它是基于 libxml2 和 libxslt 这两个强大的 C 语言库构建的，因此相比纯 Python 实现的解析器（如 xml.etree.ElementTree），lxml 在速度和功能上都更为强大。 主要特性 快速的解析和序列化：由于底层是 C 实现的，lxml 在解析和序列化 XML/HTML 文档时非常快速。 XPath 和 CSS 选择器：支持 XPath 和 CSS 选择器，这使得在文档中查找特定元素变得简单而强大。 清理和转换 HTML：lxml 提供了强大的工具来清理和转换不规范的 HTML，比如自动修正标签和属性。 ETree API：提供了类似于 ElementTree 的 API，但更加完善和强大。 命名空间支持：相比 ElementTree，lxml 对 XML 命名空间提供了更好的支持。 安装 你可以通过 pip 安装 lxml：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值