DM
文章平均质量分 82
Des_Tiny
这个作者很懒,什么都没留下…
展开
-
Hive metastore三种存储方式
测试环境下Hive总出问题,metastore的配置有问题。抽了点时间,把Hive的meta数据几种存储方式都配置了下。Hive的meta 数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore 。 一、使用derby数据库存储元数据。 这种方式是最简单的存储方式,只需转载 2014-03-06 14:30:00 · 840 阅读 · 0 评论 -
Scrapy框架学习笔记(一)
Scrapy框架学习笔记(一) 使用步骤: 1、首先建立自己的Item文件,其中定义的是抓取的内容的数据类型。 2、接下来建立自己的spider文件, 3、最后建立自己的pipeline文件,负责接收spider传送过来的Item,并在这个文件中进行处理,可以导出到文件,可以存入数据库。 碰到的问题: 1、爬取的中文输出到文件中全为unicode字符,初期以为是字符编码的问题,尝原创 2013-09-11 11:50:20 · 5174 阅读 · 0 评论