![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdatanode
文章平均质量分 67
星宫社
駄目人間
展开
-
Hadoop 相关
1、hadoop单机安装参照官网 2、hbase单机安装(参考:测试环境cent os )参照官网,文件系统有本地和hdfs两种,本地安装的话,直接按照官网就可以了。如果底层使用hdfs,那么要先安装hadoop,然后在配置hadoop的地址到hbase。(两者分开安装要注意,hadoop中配置namenode时候要配置ip而不是localhost,否则hbase会访问不到),然后原创 2017-04-18 09:20:04 · 548 阅读 · 0 评论 -
数据仓库(《数据仓库工具箱:纬度建模权威指南》)
===重要章节(1、2、4、18、19、20、21)1.数据治理1.1数仓基本概念 - 元数据-纬度表 描述具体事物信息的记录,例如物品、人员信息、商品信息等 -事实表 生产、活动产生的记录信息,例如购物记录、旅行记录等(通过外键关联纬度表)-事实表与纬度表区别 可以通过分析该列是否是一种包含多了个值并且作为计算的参与者的度量,这种为事实;...原创 2018-09-28 16:37:29 · 5619 阅读 · 0 评论 -
Sqoop碎碎念
Sqoop是一个etl工具,是sql to hadoop的缩写。即将关系型数据库数据导入hadoop中。可以用sqoop来创建hive表和导数据,实际上也是在hdfs中创建目录和将数据存储在hdfs中。1.Sqoop基本命令 @see url2.mysql导入hive --hive-database qianyang #指定hive数据库 @see link...原创 2018-06-19 13:43:25 · 854 阅读 · 0 评论 -
Hbase_Solr_Indexer(Cloudera Manager版本)
1、通过CM 创建hdfs、hbase、solr集群、Key-Value Store Indexer等必备组件2、打通Lily-indexer与hbase和solr之间的关联 具体步骤 http://www.cnblogs.com/kekukekro/p/6340944.htmlhttp://blog.csdn.net/kissmelove01/article/details/4519694...转载 2018-02-09 16:18:30 · 429 阅读 · 0 评论 -
kafka使用记录
《kafka权威指南》使用场景1、活动跟踪 前端应用与用户的交互记录,pv、uv、点击量等2、传递消息 用来实现消息通知功能3、度量指标和日志记录 系统日志以及度量指标的收集4、提交日志 作为分布式系统的日志缓冲区,方便日志收集处理5、流处理 用哦过户可以飙血消息那应用程序来操作kafka消息,比如计算度量指标,为其他应用程序有效的处理消息分区,或者对来自多个数据源的...原创 2018-05-30 22:18:57 · 719 阅读 · 1 评论 -
Zookeeper实现分布式锁
基于zookeeper的分布式锁实现zookeeper官网推荐:https://svn.apache.org/repos/asf/zookeeper/trunk/src/recipes/lock/twitter的distributedlod项目中zk实现/** * Licensed to the Apache Software Foundation (ASF) under one转载 2017-12-05 10:21:41 · 433 阅读 · 0 评论 -
MapReduce
mapreduce处理流程图Combiner在map之后,reduce之前,指的是,map后已经生成了对于每天数据的key,value对,此时通过combiner对数据做本机的'reduce'操作,目的是减少key,value对的数量,减轻shuffle阶段的网络负担,减轻reduce的负载。参见-combiner的使用误区:http://blog.cs原创 2017-09-29 09:34:23 · 257 阅读 · 0 评论 -
Mapredue设计模式
目录1、设计模式与MapReduce设计模式MapReduce历史MapReduce与Hadoop 复习Hadoop练习,Word CountPig和Hive2、求和模式数字求和倒排索引计数器计数3、过滤模式过滤布隆过滤器Top10唯一记录Distinct4、数据组织模式结构化到层次化分区装箱全排序shufflin原创 2017-07-06 18:41:14 · 445 阅读 · 0 评论 -
hbase使用Phoenix
PhoenixHbase查询工具,提供在hbase中sql方式查询。提供了很多sql语法,二级索引等传统数据库支持的功能。新版本中有支持transaction(beta)。官网http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html、二进制文件下载http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.9.0-HBase-1.2/bin/部署安装http://www.zh原创 2017-04-17 18:05:02 · 2791 阅读 · 0 评论 -
kettle 7.0导数据hbase1.2.7 (测试)
Get started0、官网教程 http://wiki.pentaho.com/display/BAD/Loading+Data+into+HBase1、kettle连接hadoop问题 kettle有对应的hadoop版本,kettle 7.0默认是对应的hadoop2.4。可以在data-integration\plugins\pentaho-big-data原创 2017-04-25 20:06:09 · 5961 阅读 · 1 评论