为 elasticsearch安装插件 可视化插件

为elasticsearch安装插件 可视化插件

严重参考这个文档，感谢！

1)安装nodejs head是es的一个可视化插件
由于head运行在node.js上，我们需要安装nodejs
注意:在root用户下执行

yum install -y gcc-c++ make
# curl --silent --location https://rpm.nodesource.com/setup_5.x | bash -
# yum install -y nodejs
cd /export/software/
rz nodejs-5.12.0-1nodesource.el6.x86_64.rpm
rpm -ivh nodejs-5.12.0-1nodesource.el6.x86_64.rpm 
yum install –y git
cd /export/servers/
git clone https://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install -g grunt --registry=https://registry.npm.taobao.org
npm install
npm install grunt --save

2)修改配置文件 在Gruntfile.js中添加一行代码

vi /export/servers/elasticsearch-head/Gruntfile.js
找到以下代码：
connect: {
                        server: {
                                options: {
                                        hostname: '192.168.140.130',
                                        port: 9100,
                                        base: '.',
                                        keepalive: true
                                }
                        }
                }
添加一行：
hostname: '192.168.140.130',

在app.js中修改hostname

更改前：http://localhost:9200
更改后：http://192.168.140.130:9200

修改elasticsearch.yml文件

su es
vi /export/servers/es/elasticsearch-6.0.0/config/elasticsearch.yml 
-添加一下代码
# 是否支持跨域
http.cors.enabled: true
# *表示支持所有域名
http.cors.allow-origin: "*"

3)重启es服务

注意：使用es用户启动
ps -ef|grep elasticsearch|grep bootstrap |awk '{print $2}' |xargs kill -9
nohup /export/servers/es/elasticsearch-6.0.0/bin/elasticsearch >/dev/null 2>&1 &

4)启动可视化界面
启动elasticsearch-head插件

注意：使用root用户启动
/export/servers/elasticsearch-head/node_modules/grunt/bin/grunt server
-
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://192.168.140.130:9100

访问elasticsearch-head界面

打开Google Chrome访问 
http://192.168.140.130:9100/e区别](http://maoxiangyi.cn/index.php/archives/546/))

三、描述HBase的rowkey的设计原则
注：(描述HBase的rowkey的设计原则 )

四、描述HBase中scan和get的功能以及实现的异同

• HBase的查询实现只提供两种方式：
  
  • 1、按指定RowKey 获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）

Get 的方法处理分两种 : 设置了ClosestRowBefore 和没有设置的rowlock .主要是用来保证行的事务性，即每个get 是以一个row 来标记的.一个row中可以有很多family 和column.

• 2、按指定的条件获取一批记录，scan方法(org.apache.Hadoop.hbase.client.Scan）实现条件查询功能使用的就是scan 方式.
  
  • 1)scan 可以通过setCaching 与setBatch 方法提高速度(以空间换时间)；
  • 2)scan 可以通过setStartRow 与setEndRow 来限定范围([start，end)start 是闭区间，end 是开区间)。范围越小，性能越高。
  • 3)、scan 可以通过setFilter 方法添加过滤器，这也是分页、多条件查询的基础。

五、描述如何解决HBase中region太小和region太大带来的冲突
Region过大会发生多次compaction，将数据读一遍并重写一遍到hdfs 上，占用io，region过小会造成多次split，region 会下线，影响访问服务，调整hbase.hregion.max.filesize 为256m.

六、简述HBase中compact用途是什么，什么时候触发，分为哪两种,有什么区别，有哪些相关配置参数？

• 在hbase中每当有memstore数据flush到磁盘之后，就形成一个storefile，当storeFile的数量达到一定程度后，就需要将 storefile 文件来进行 compaction 操作。

Compact 的作用：

1>.合并文件

2>.清除过期，多余版本的数据

3>.提高读写数据的效率

HBase 中实现了两种 compaction 的方式：minor and major. 这两种 compaction 方式的区别是：

1、Minor 操作只用来做部分文件的合并操作以及包括 minVersion=0 并且设置 ttl 的过

期版本清理，不做任何删除数据、多版本数据的清理工作。

2、Major 操作是对 Region 下的HStore下的所有StoreFile执行合并操作，最终的结果是整理合并出一个文件。