ruanmianmian1-CSDN博客

原创 1010 elasticsearch 概念搭建

es 节点类型客服端节点智能负载均衡调节数据节点和主节点处理路由请求分发索引处理搜索数据节点存贮索引数据节点对文档进行增删改查，聚合等操作主节点处理和集群有管的操作如创建删除索引索引类似于数据库是一组文档的集合索引的数据结构也就是倒排索引类型类似于数据库中的表一个索引中可以定义一种或多种类型，一个类型是索引的一个逻辑分类或分...

2019-10-10 19:58:02 122

原创 flume kafka storm

bin/kafka-server-start.sh config/server.porperties 启动kafkabin/kafka-topic.sh --zookeeper node2:2181,node3:2181,node4:2181 --create --replication-factor2 --partitions 3 --topic test 创建主题bin/kafka-c...

2019-10-09 20:15:17 122

原创 1008 storm

storm完成wcspout 从数据源取数据继承 baserichspout 在 spout中 1 完成nextTuple() 将数据定义成元组发送 collector.emit(new Values(lines)) 2 完成declare函数定义发送的数据的字段名称 declare.declare(new Fields(""))bolt 对数据...

2019-10-08 22:03:20 115

原创 0926 redis操作（了解）

redis kv的内存数据库https://www.redis.net.cn/order/3564.html redis操作 string list hash bitmap持久化RDB AOF参考这个https://www.cnblogs.com/AndyAo/p/8135980.html

2019-09-26 18:16:32 87

原创 0925 hbase2 优化压缩 hbase-mr

Scan 可以设置起始和结束的rowkey rowkey按字典排序 scan.setStartROw(rowkey的值) scan.setStopRow()查找时可以设过滤器FilterList 构造中设置返回匹配的数据形式返回全部匹配(FilterList.Operator.MUST_PASS_ALL) 或者返回第一次匹配到的filterList.add() 添加匹...

2019-09-25 21:07:47 156

原创 0924 hbase

Master 为Region server 分配region 负责regionServer的负载均衡RegionServer 维护region 切分regionRegion 每个region中会保存一段连续的数据（按照行键排序）store 一个region由多个store组成的一个store对应一个列族 store包括内存中的memstore和磁盘上的storefileM...

2019-09-25 21:07:03 217

原创 0923 hive2

hive 函数 split（字段名，“ ”）切分 explode（array）将数组里内容展开from (select explode(split(line, ' ')) as word from docs) winsert into table wcselect word, count(1) as totalwordgrou...

2019-09-23 21:03:08 95 1

原创 0922 周总结

1 mr作业提交流程客户端：1 向RM取号 2 检查作业输出路径 3 计算输入切片 4 将jar 配置信息切片信息上传到hdfs 并复制10份向RM提交作业 13每秒钟向appmaster轮询作业的进度如果进度有变，在控制台打印状态信息RM：5 找一个nodeManager 分配一个容器运行appmasterappmaster：6 从hdfs获取作业信息 7 计算需要...

2019-09-22 16:18:43 77

原创 0920 hive搭建基础

hive 3种搭建模式采用分离的方式array map structfrom tb_temp insert into tb_user1 select 1,'name',array('a','b','c'),map('key1','value1','key2','value2') limit 1; 要求tb_temp中至少有一条语句。drop database mydb c...

2019-09-22 01:28:24 79

原创 0919 案例*2

1 pageranka b d b c c a b d b c需要计算趋于稳定阶段的pr值先考虑main 是一个多次反复拿上一次任务输出当做输入路径提交任务的过程 2、为了趋于稳定需要那当前的rp值和上一次rp值计算当趋于稳定时可以停止提交任务。所以计算rp稳定可以在reducer里完成在main里做判断完成则跳出无限循环 3 可...

2019-09-19 21:30:39 107

原创 0918 案例*2 注意理解

见 idea代码分组方法需要继承writableComparator 构造中实现super（Text.class, true）完成compare方法一样的一组分区继承partitioner<Text,IntWritable> 完成getpartition 方法排序继承writableComparator 构造中实现super(Text.class,...

2019-09-18 21:58:58 75

原创 0917 mapTask reduceTask 源码

yarnChild.class //run the Task run() mapTask -> run()->runNewMapper() //make a mapper //make the input format //input splitNewOutputCollector() mapContext 打包map所需的各种信息，输入，输出，切片，作业j...

2019-09-17 21:59:20 103

原创 0916 MR作业提交流程 Yarn-HA WC代码作业提交源码

1 作业提交流程客户端提交MR作业 Yarn的资源管理器Resource Manager 协调集群计算资源的分配 Yarn的节点管理器 NodeManager 启动并监控集群中计算容器 MapReduce中的Application Master 协调MR作业中的任务运行 ApplicationMaster和MR运行在容器中，容器由resourceManager调度由NodeManag...

2019-09-16 22:00:34 540

原创 0913 周总结

1 SNN 工作原理 SNN帮助NN合并镜像和日志文件为NN内存中的文件系统元数据生成检查点工作流程 SNN先请求NN生成新的日志文件并向其中写日志 SNN通过HTTP get的方式从NN上下载镜像和日志文件到本地 SNN将镜像文件加载到自己内存然后根据日志文件合并镜像之后写入磁盘 SNN通过HTTP PUT的方式将磁盘中的镜像文件发给NN NN等待到达检查点...

2019-09-13 12:26:09 128

原创 0910 hadoop完全分布式 HA 搭建 hdfs工作原理（读写模式）

1 完全分布式搭建 hdfs-site.xml中指定SNN的位置在slaves文件中配置DN的位置即可 4台机器配置文件一致通过配置文件上的指定来启动不同的jps2 HA的搭建基于zk的zkfc的检测机制同时也是一种选举机制，主备间通过对journalnode的主->写备->读的模式保持主备一致性 zk对zkfc进行了心跳的检测在zk上有生成一个临时的主N...

2019-09-13 09:59:43 316

原创 0909 keepalived +hadoop 安装基础概念

keepalived 可以使实现HA 当一个节点挂掉的时候他可以切换到另一台次优先级的节点 yum install keepalived 主要是通过配置文件起作用可配置虚拟的网络地址软件功能和之前做的 kapcitor的脚本一个道理hadoop 集群的搭建基于java的环境下配置ssh 修改 hadoop-env.sh core_site.xml hdfs-site.x...

2019-09-13 09:59:24 313

原创 0911 hfds的java api shuffle大致过程

1 hdfs java API new Configuration(true) 加载配置信息ture参数表示加载默认配置信息 FileSystem.get(conf) 获取FileSystem对象对hdfs文件系统进行操作 fs.mkdir(path) 创建文件路径 fs.delete(PATH,boolean) 删除路径 ture可以迭代删除 fs....

2019-09-11 21:15:07 287

原创 0908 周总结

一安装6.5虚拟机挂载磁盘修改网络关闭防火墙 /etc/sysconfig/network /etc/hosts /etc/sysconfig/network-scripts/ifcfg-eth0 chkconfig chkconfig iptables on/off service iptables stop 删除/etc/udev/rul...

2019-09-08 14:52:02 126

原创 0906 安装tengine 配置nginx处理高并发

在 tengine.tao.org 上可以下载tengine 步骤解压然后通过./configure --prefix=/opt/tengine-2.1.0 --sbin-path=/opt/tengine-2.1.0/sbin/nginx --conf-path=/opt/tengine-2.1.0/conf/nginx.conf --error-log-path=/var/log/n...

2019-09-06 20:56:48 202

原创 0905 shell脚本

bash 是解释器编辑器 #!/bin/bash 类似于 #!/usr/bin/python 指出解释器的位置 #!/bin/awk -f 解释awk语句可以重定向 IO程序都有io 0 标准输入 1 正确输出 2 错误输出ls / /hello 1>right.log 2>err.log ls命令的正确输出输出到right.log下错误输出到err....

2019-09-05 21:16:06 102

原创 0904 （安装nginx，cut sort grep sed awk 指令）

通过tar 方式安装nginx 指令更改配置路径信息./configure --prefix=/opt/nginx --with-http_ssl_module --with-http_gzip_static_module --error-log-path=/var/log/nginx/nginx.log --pid-path=/var/log/nginx/pidmake 指令进行编译 ...

2019-09-04 21:23:21 88

原创 0903 一些基础指令软件源的设置

通过 man 或者 help来查看命令的参数使用方法，可以先type 指令来查看是内部命令还是外部命令使用help 指令来查看内部命令的帮助信息使用man 指令来查看外部命令的帮助信息可以将man的查看信息变成中文版的echo是输出字符 echo -e "hello\nworld"test是用于比较做逻辑判断 test 3 -gt 2 用echo $...

2019-09-03 21:26:05 134

原创 0902学习总结（centos6.5虚拟机搭建并初始化）

新建虚拟机安装centos6.5 的操作系统这个按照文档来值得注意的是磁盘分配 /boot下默认200M 这个路径下的是系统自带的swap下分配2048M swap分区时交换分区相当于虚拟内存的分区（它的功能就是在内存不够的情况下，操作系统先把内存中暂时不用的数据，存到硬盘的交换空间，腾出内存来让别的程序运行）其余分配全给到根目录/接下来是配置网端 ...

2019-09-02 21:06:17 143

原创学习积累

好友推荐生成一组真的好友关系一组假设的间接好友关系TF-IDF 是一种用于资讯检索与资讯勘探的常用加权技术。垂直搜索TF（词频）指的是某一个给定的词语在一份给定的文件中出现的次数。 IDF逆向文件频率是一个词语普遍重要性的度量。 TF-IDF = TF * IDFTF-IDF 倾向于过滤掉常见的词语，保留重要的词语hdfs hd...

2018-07-31 14:25:48 410

原创解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

用idea在Windows7，hadoop2.6.1的环境下编写简单的map测试时编译后出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z这个错误提示1 如果电脑是Windows10的情况下检查 1 winutils.exe这个应用程序是否在自己Windows环境下ha

2018-01-16 18:02:05 3144 3

原创集合框架总结

定义java中的集合是管理一组对象的容器详细介绍1 Collection是父类接口。定义了可用于操作List、Set和Queue的方法--增删改查；2 List接口及其实现类l ListList代表一个元素有序、且可重复的集合，集合中的每个元素都有其对应的顺序索引。l ArrayList List list = new ArrayList()

2018-01-11 22:15:43 160

原创关于面试的小技巧

**回答问题的套路1 知无不言，言无不尽2 对待面试题尽量有一个递进式的回答3 面对理论性的对比，从大往小了说概述->细节 *问题1:如何求两个int型的平均数思考: int型对数的限制如果是两个足够大并且相同符号的数的话相加后会超出int型范围所以考虑一个算法，让很大的数相加也不会超出限定值。但是如果两个数异号即使很大相加也不会超出

2018-01-11 14:25:52 190

原创 Linux总结

Linux总结指令：命令名 -选项参数cd / 根目录 cd ~ 家目录cd a/b/c cd /a/b/c cd .. 上一层 cd ../..cd - 回到上一个-a 全部包括隐藏-h kb显示文件大小mkdir 创建文件夹mkdir -p 连续创建多层文件夹rm -r 删除文件夹cp 复制同时可以改

2018-01-10 10:35:03 128

ruanmianmian1的博客