![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
墨飏韶年
leetcode:https://leetcode-cn.com/problemset/all/
展开
-
一、HBase简介
自1970年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后,好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。Hadoop使用分布式文件系统,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。Hadoop的限制Hadoop只能执行批量处理,并且只以顺序方式访问数据。这意...原创 2018-07-23 16:05:23 · 193 阅读 · 0 评论 -
十五、HBase客户端API
本章介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。 HBase是用Java编写的,并具有Java原生API。因此,它提供了编程访问数据操纵语言(DML)。HBaseConfiguration类添加 HBase 的配置到配置文件。这个类属于org.apache.hadoop.hbase包。方法及说明 S.No. 方法及说明 1...原创 2018-07-24 09:46:19 · 285 阅读 · 0 评论 -
十六、HBase创建数据
本章将介绍如何在HBase表中创建的数据。要在HBase表中创建的数据,可以下面的命令和方法:put 命令, add() - Put类的方法 put() - HTable 类的方法.作为一个例子,我们将在HBase中创建下表。使用put命令,可以插入行到一个表。它的语法如下:put ’<table name>’,’row1’,’<colfamily:col...原创 2018-07-24 09:51:09 · 559 阅读 · 0 评论 -
十七、HBase更新数据
可以使用put命令更新现有的单元格值。按照下面的语法,并注明新值,如下图所示。put ‘table name’,’row ’,'Column family:column name',’new value’新给定值替换现有的值,并更新该行。示例假设HBase中有一个表emp拥有下列数据hbase(main):003:0> scan 'emp' ROW ...原创 2018-07-24 09:55:52 · 6560 阅读 · 0 评论 -
十八、HBase读取数据
get命令和HTable类的get()方法用于从HBase表中读取数据。使用 get 命令,可以同时获取一行数据。它的语法如下:get ’<table name>’,’row1’下面的例子说明如何使用get命令。扫描emp表的第一行。hbase(main):012:0> get 'emp', '1' COLUMN C...原创 2018-07-24 09:58:01 · 492 阅读 · 0 评论 -
十九、HBase删除数据
从表删除特定单元格使用 delete 命令,可以在一个表中删除特定单元格。 delete 命令的语法如下:delete ‘<table name>’, ‘<row>’, ‘<column name >’, ‘<time stamp>’下面是一个删除特定单元格和例子。在这里,我们删除salaryhbase(main):006:0&g...原创 2018-07-25 09:04:04 · 1710 阅读 · 0 评论 -
二十、HBase扫描
scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下:scan ‘<table name>’ 下面的示例演示了如何使用scan命令从表中读取数据。在这里读取的是emp表。hbase(main):010:0> scan 'emp'ROW COLUMN+CELL1 co...原创 2018-07-25 09:04:22 · 305 阅读 · 0 评论 -
二十一、HBase计数和截断
count可以使用count命令计算表的行数量。它的语法如下:count ‘<table name>’ 删除第一行后,表emp就只有两行。验证它,如下图所示。hbase(main):023:0> count 'emp'2 row(s) in 0.090 seconds=> 2 truncate此命令将禁止删除并重新创建一个表。truncate...原创 2018-07-25 09:04:35 · 236 阅读 · 0 评论 -
二十二、HBase安全
我们可以授予和撤销HBase用户的权限。也有出于安全目的,三个命令:grant, revoke 和 user_permission.。grantgrant命令授予特定的权限,如读,写,执行和管理表给定一个特定的用户。 grant命令的语法如下:hbase> grant <user> <permissions> [<table> [<co...原创 2018-07-25 09:04:50 · 423 阅读 · 0 评论 -
Fluentd
摘要:最近发生了一些不可描述的故事,艰难之中换到了现在的组,主要的工作内容是数据挖掘。也终于有机会学习新的知识:Ruby和Fluentd。本文将总结开源软件Fluentd的入门知识,包括如何安装,配置文件语法,插件简介等内容。Fluentd的官网内容非常详尽,内容的组织也尤其清晰,所以网络上关于Fluentd的文档很少。本文主要用于学习记录,也希望能帮助到英语不好的读者。OverviewFluen...原创 2018-09-13 13:15:00 · 1758 阅读 · 0 评论 -
大数据工程师必备技能
原创 2018-10-19 11:30:04 · 201 阅读 · 0 评论 -
十四、HBase关闭
exit可以通过键入exit命令退出shell。hbase(main):021:0> exit停止HBase要停止HBase,浏览进入到HBase主文件夹,然后键入以下命令。./bin/stop-hbase.sh使用Java API停止HBase可以使用HBaseAdmin类的shutdown()方法关闭HBase。按照下面给出关闭HBase的步骤:第1步...原创 2018-07-24 09:44:20 · 1936 阅读 · 1 评论 -
十三、HBase删除表
用drop命令可以删除表。在删除一个表之前必须先将其禁用。hbase(main):018:0> disable 'emp'0 row(s) in 1.4580 secondshbase(main):019:0> drop 'emp'0 row(s) in 0.3060 seconds使用exists 命令验证表是否被删除。hbase(main):020:0&g...原创 2018-07-24 09:42:58 · 6524 阅读 · 0 评论 -
十二、HBase Exists
可以使用exists命令验证表的存在。下面的示例演示了如何使用这个命令。hbase(main):024:0> exists 'emp'Table emp does exist0 row(s) in 0.0750 seconds==================================================================hbase(ma...原创 2018-07-24 09:37:31 · 641 阅读 · 0 评论 -
二、HBase架构
在HBase中,表被分割成区域,并由区域服务器提供服务。区域被列族垂直分为“Stores”。Stores被保存在HDFS文件。下面显示的是HBase的结构。注意:术语“store”是用于区域来解释存储结构。HBase有三个主要组成部分:客户端库,主服务器和区域服务器。区域服务器可以按要求添加或删除。主服务器主服务器是 -分配区域给区域服务器并在Apache ZooKeepe...原创 2018-07-23 16:39:16 · 181 阅读 · 0 评论 -
三、HBase安装
本章将介绍如何安装HBase和初始配置。 需要用Java和Hadoop来处理HBase,所以必须下载java和Hadoop并安装系统中。安装前设置安装Hadoop在Linux环境下之前,需要建立和使用Linux SSH(安全Shell)。按照下面设立Linux环境提供的步骤。创建一个用户首先,建议从Unix创建一个单独的Hadoop用户,文件系统隔离Hadoop文件系统。按照下面给...原创 2018-07-23 17:31:19 · 233 阅读 · 0 评论 -
四、HBase Shell
HBase ShellHBase包含可以与HBase进行通信的Shell。 HBase使用Hadoop文件系统来存储数据。它拥有一个主服务器和区域服务器。数据存储将在区域(表)的形式。这些区域被分割并存储在区域服务器。主服务器管理这些区域服务器,所有这些任务发生在HDFS。下面给出的是一些由HBase Shell支持的命令。通用命令 status: 提供HBase的状态,例如,服...原创 2018-07-23 17:33:49 · 159 阅读 · 0 评论 -
五、HBase常用命令
HBase常用命令status, version, table_help和whoami。本章将介绍了这些命令。status命令返回包括在系统上运行的服务器的细节和系统的状态。它的语法如下:hbase(main):009:0> status如果执行这个命令,它会返回下面的输出hbase(main):009:0> status3 servers, 0 dead, ...原创 2018-07-23 22:26:47 · 272 阅读 · 0 评论 -
六、HBase Admin API
HBase是用Java编写的,因此它提供Java API和HBase通信。 Java API是与HBase通信的最快方法。下面给出的是引用Java API管理,涵盖用于管理表的任务。HBaseAdmin类HBaseAdmin是一个类表示管理。这个类属于org.apache.hadoop.hbase.client包。使用这个类,可以执行管理员任务。使用Connection.getAdmin(...原创 2018-07-23 22:29:44 · 468 阅读 · 0 评论 -
七、HBase创建表
可以使用命令创建一个表,在这里必须指定表名和列族名。在HBase shell中创建表的语法如下所示。create ‘<table name>’,’<column family>’ 示例下面给出的是一个表名为emp的样本模式。它有两个列族:“personal data”和“professional data”。Row key personal data...原创 2018-07-23 22:32:53 · 1813 阅读 · 0 评论 -
八、HBase列出表
list 是用来列出HBase中所有表的命令。下面给出了 list 命令的语法。hbase(main):001:0 > list当输入这个命令,并在HBase提示符下执行,它会显示HBase中的所有表的列表,如下图所示。hbase(main):001:0> listTABLEemp在这里,可以看到一个名为表emp。使用Java API列出表按照下面给出...原创 2018-07-23 22:34:53 · 4450 阅读 · 0 评论 -
九、HBase禁用表
要删除表或改变其设置,首先需要使用 disable 命令关闭表。使用 enable 命令,可以重新启用它。下面给出的语法是用来禁用一个表:disable ‘emp’下面给出的是一个例子,说明如何禁用表。hbase(main):025:0> disable 'emp'0 row(s) in 1.2760 seconds验证禁用表之后,仍然可以通过 list 和ex...原创 2018-07-24 09:22:05 · 910 阅读 · 0 评论 -
十、HBase启用表
启用表的语法:enable ‘emp’给出下面是一个例子,使一个表启用。hbase(main):005:0> enable 'emp'0 row(s) in 0.4580 seconds验证启用表之后,扫描。如果能看到的模式,那么证明表已成功启用。hbase(main):006:0> scan 'emp' ROW ...原创 2018-07-24 09:31:42 · 273 阅读 · 0 评论 -
十一、HBase表描述和修改
描述该命令返回表的说明。它的语法如下:hbase> describe 'table name'下面给出的是对emp表的 describe 命令的输出。hbase(main):006:0> describe 'emp' DESCRIPTION ENABLED 'emp', {NAME => 'READONLY', DATA_BLO...原创 2018-07-24 09:33:41 · 546 阅读 · 0 评论 -
详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解
声明:本文为原创文章,发表于nebulaf91的csdn博客。欢迎转载,但请务必保留本信息,注明文章出处。本文作者: nebulaf91本文原始地址:http://blog.csdn.net/u011508640/article/details/72815981 最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum ...转载 2018-10-23 11:17:32 · 235 阅读 · 0 评论