Lee_Suoer的博客

记录学习过程的点点滴滴

kafka

集群安装,先配置好 zk 集群,启动。 解压 kafka,之后修改配置文件 修改 config 下的server.properties 修改 log 存储位置 修改broker的 id 配置好外部的 zk 位置 启动 kafka 集群 ./bin/kafka-server-s...

2019-04-29 13:27:53

阅读数 4

评论数 0

storm

解压 storm 修改配置文件 storm.yaml 之后就可以到bin目录下启动了 启动storm 在nimbus主机上 nohup ./storm nimbus 1>/dev/null 2>&1 & nohup ./sto...

2019-04-26 14:47:08

阅读数 13

评论数 0

hbase HA

解压缩hbase的安装包,进入conf目录下。 先将hadoop的hdfs-site.xml和core-site.xml 配置文件放到 conf目录下 修改配置文件 hbase-env.sh 要使用外部的zk 配置java的路径 修改hdfs-site.xml <...

2019-04-26 12:59:08

阅读数 194

评论数 0

hive

给hive配置mysql 在 hive/conf 目录下hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionUR...

2019-04-25 13:49:52

阅读数 14

评论数 0

hadoop HA搭建

一共七台服务器 hadoop01 -- NameNode、DFSZKFailoverController(zkfc) hadoop02-- NameNode、DFSZKFailoverController(zkfc) hadoop03-- ResourceManager hadoop02-...

2019-04-23 17:59:12

阅读数 15

评论数 0

hadoop mr

先编写MapReduce程序(对文本数据统计)。 //4个泛型中,前两个是指定mapper输入数据的类型,KEYIN是输入的key的类型,VALUEIN是输入的value的类型 //map 和 reduce 的数据输入输出都是以 key-value对的形式封装的 //默认情况下,框架传递给我们...

2019-04-20 14:40:33

阅读数 33

评论数 0

hadoop 单机

hadoop解压之后: 修改hadoop/etc/hadoop 下的配置文件: 修改hadoop-env.sh 添加JAVA_HOME 路径 修改core-site.xml; <property> <name>...

2019-04-16 10:25:35

阅读数 25

评论数 0

elasticsearch 集群命令操作

如果关闭了一个索引之后,那么这个索引是不会带来任何的性能开销了,只要保留这个索引的元数据即可,然后对这个索引的读写操作都不会成功。一个关闭的索引可以接着再打开,打开以后会进行shard recovery过程。比如说你在做一些运维操作的时候,现在你要对某一个索引做一些配置,运维操作,修改一些设置,关...

2019-04-12 14:21:28

阅读数 56

评论数 0

elasticsearch hdfs 备份数据

首先创建好hdfs 集群,再修改一下hdfs-site.xml ,添加 <property> <name>dfs.permissions</name> <value>false&...

2019-04-11 15:58:46

阅读数 14

评论数 0

hdfs集群搭建

先安装好jdk,三台机器配置好无密登录, namenode机器还要配置自己对自己的无密登录,再在环境变量中添加配置: export HADOOP_PREFIX=/home/lishuo/app/hadoop-2.7.1 export PATH=$PATH:$HADOOP_PREFIX/bin:$...

2019-04-11 11:24:23

阅读数 15

评论数 0

elasticsearch 集群搭建

es 不允许使用root用户启动,先创建es用户,配置好jdk1.8+,解压缩es安装包。 对系统 /etc/security/limits.conf 文件进行修改 设置对所有用户的文件描述符和线程处理数量 * soft nofile 65536 * hard nofile 65536 ...

2019-04-10 14:23:03

阅读数 64

评论数 0

elasticsearch 集群配置

集群脑裂问题: discovery.zen.minimum_master_nodes参数对于集群的可靠性来说,是非常重要的。这个设置可以预防脑裂问题,也就是一个集群中存在两个master。 如果因为网络的故障,导致一个集群被划分成了两片,每片都有多个node,以及一个master,那么集群中就...

2019-04-06 22:47:35

阅读数 23

评论数 0

elasticsearch centos集群

解压缩elasticsearch 包: 最新es版本要求有JDK 8以上的版本 bin:存放es的一些可执行脚本,比如用于启动进程的elasticsearch命令,以及用于安装插件的elasticsearch-plugin插件 conf:用于存放es的配置文件,比如elasticsearc...

2019-04-03 22:42:42

阅读数 14

评论数 0

elasticsearch 高级

term vector介绍: 获取document中的某个field内的各个term的统计信息 term statistics: 设置term_statistics=true; total term frequency, 一个term在所有document中出现的频率; document fr...

2019-04-02 22:49:19

阅读数 25

评论数 0

elasticsearch 数据建模

一对多数据关系映射: 也可以分开来存放: 第一次搜索,会得到很多个中间结果,之后再进行处理,这个时候的性能就不怎么好了。 但是这两种方式各自有优缺点: 数据不冗余,维护方便,应用层join,如果关联数据过多,导致查询过大,性能很差 反之亦然。 一般来说,对于es这种NoSQL类型...

2019-04-01 22:41:50

阅读数 8

评论数 0

elasticsearch 聚合搜索(2)

在200ms以内的,有百分之多少,在1000毫秒以内的有百分之多少 如果想要percentile算法越精准,compression可以设置的越大 如果的确不需要doc value,比如聚合等操作,那么可以禁用,减少磁盘空间占用 如果要对分词的field执行聚合操作,必须将fielddat...

2019-03-30 10:45:29

阅读数 25

评论数 0

elasticsearch 聚合搜索

bucket:一个数据分组 metric,就是对一个bucket执行的某种聚合分析的操作,比如说求平均值,求最大值,求最小值 先准备一些数据: 统计哪种颜色的电视销量最高 size:只获取聚合结果,而不要执行聚合的原始数据 aggs:固定语法,要对一份数据执行分组聚合操作 popul...

2019-03-29 22:53:37

阅读数 29

评论数 0

elasticsearch Ik分词器

elasticsearch 配置ik分词器插件: 将ik.zip复制到相应的文件夹下,解压。 重启es 两种analyzer,一般是选用ik_max_word ik_max_word: 会将文本做最细粒度的拆分 ik_smart: 会做最粗粒度的拆分 1、ik配...

2019-03-28 22:33:10

阅读数 7

评论数 0

elasticsearch 深度搜索

match和phrase match(proximity match)区别: match:只要简单的匹配到了一个term,就可以理解将term对应的doc作为结果返回,扫描倒排索引,扫描到了就ok phrase match:首先扫描到所有term的doc list; 找到包含所有term的do...

2019-03-27 22:40:01

阅读数 26

评论数 0

JDK Proxy类

Proxy为创建动态代理类和实例提供了一些静态方法,它也是通过这些方法所创建的所有类的父类。 代理类在创建的时候实现了一系列接口(运行时的)。代理类实现了代理的接口。代理实例就是一个代理类的实例。每一个代理实例都关联一个实现invocation handler 对象。代理实例的方法调用会通过...

2019-03-19 11:13:31

阅读数 14

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭