- 博客(20)
- 资源 (12)
- 收藏
- 关注
原创 Hue(三)集成Hadoop
本篇主要介绍如何配置Hadoop与Hue,来完成从Hue的Web UI中查看并管理HDFS文件系统、查看MapReduce执行状态的目的。
2015-05-11 18:00:00 4740
原创 Hue(一)介绍
本篇主要介绍说明是Hue,HUE——Hadoop User Experience,这是一个与Hadoop生态系统紧密结合的Web UI应用程序,可以通过Hue来查看管理HDFS上面的文件(甚至修改文件内容和删除文件等)、通过Hue从界面编写sql语句对Hive进行查询,并使用图表直观的展示查询结果、可以与Oozie集成,用于创建和监控工作流程等等。
2015-05-11 15:49:00 3735 1
原创 Phoenix(十三)Phoenix使用MapReduce加载大批量数据
本篇主要说明在实际应用场景中可以会有一些格式比较规整的数据文件需要导入到HBase,Phoenix提供了两种方法来加载CSV格式的文件phoenix的数据表。一种是使用单线程的psql工具进行小批量数据加载的方式,一种是使用MapReduce作业来处理大批量数据的方式。第一种方式比较简单这里就不介绍了,想了解的可以参考官方文档。
2015-05-10 19:17:21 8700
原创 Phoenix(八)二级索引之— —Global Indexing
本篇主要介绍Phoenix二级索引中的Global Indexing。在HBase中,只有一个单一的按照字典序排序的rowKey索引,当使用rowKey来进行数据查询的时候速度较快,但是如果不使用rowKey来查询的话就会使用filter来对全表进行扫描,很大程度上降低了检索性能。而Phoenix提供了二级索引技术来应对这种使用rowKey之外的条件进行检索的场景。
2015-05-09 11:47:43 4970 1
原创 Phoenix(六)配置使用Squirrel GUI连接Phoenix
本篇主要介绍使用Squirrel GUI客户端来连接phoenix,就像MySQL使用Navicat for MySQL,Oracle使用Pl/sql developer一样,在进行一些数据库操作的时候能够更加的直观和方便。安装过程参考官方文档,步骤稍有不同。 http://phoenix.apache.org/installation.html#SQL_Client
2015-05-09 09:20:07 6868
原创 Phoenix(五)JDBC 无法添加数据
本篇主要介绍使用phoenix的JDBC驱动连接HBase,进行数据添加的时候发现数据总是无法插入,并且log日志也没有任何报错信息,最后发现是没有手动commit的缘故,phoenix并没有帮我们做commit的操作,需要我们自己手动commit。最后在执行executeUpdate后添加commit代码后数据被成功插入。
2015-05-08 17:49:26 2812
原创 Phoenix(四)JDBC CRUD操作
本篇主要介绍使用JDBC的方式来对HBase中的数据进行CRUD操作,项目为maven项目。请自行将phoenix-4.2.2-client.jar(可以在下载的phoenix-4.2.2-bin.tar.gz中找到该jar包)添加到项目的classpath中,将HBase集群的hbase-site.xml配置文件添加到项目的resources目录下。
2015-05-08 16:52:15 5020
原创 Phoenix(三)CLI CRUD操作
本篇主要介绍在phoenix的CLI中进行简单的CRUD操作。phoenix中支持的命令如下:详细的命令语法参考官网说明 http://phoenix.apache.org/language/index.html
2015-05-07 22:31:37 2485
原创 Phoenix(一)介绍
本篇主要介绍ApachePhoenix基本概念,Apache Phoenix是构建在HBase之上的关系型数据库层,作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。Apache Phoenix会将用户编写的sql查询编译为一系列的scan操作,最终产生通用的JDBC结果集返回给客户端。数据表的元数据存储在HBase的表中被会标记版本号,所以进行查询的时候会自动选择正确的schema。
2015-05-07 20:57:03 3880 2
构建近实时分析系统
2018-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人