weixin_43381828的博客

原创 二、storm 深入学习及案例讲解

storm的容错保障机制 storm发送完整性数据的容错机制 当storm在传递数据，如在spout传递tuple时会随机生成一个16位的二进制数， 在传递数据的时候，下一个bolt不仅会收到一个tuple，而且还会收到这个16位的二进制数，为了保证传递数据的完整性，会将这两个二进制数进行异或运算，如果异或的结果是16个0的二进制数，那么说明传递的数据是完整的，反之，说明传递的数据是不完整的。...

原创 一、storm 介绍及部署

storm介绍 概念：storm是一种实时的分布式的流式计算框架。可以用来实时的处理流式数据，因为它是基于内存进行计算的，因此它的计算速度比较快，它与map/reduce相比具有实时性高，计算速度较快的特点，但是它相比于map/reduce而言，它处理的数据较小。map/reduce适合处理数据量较大的离线数据。 ...

原创 一、CDH_clouderaManager使用_impala_oozie

impala 大数据的核心思想是：分而治之，计算向数据移动。 hive是如何进行大数据计算的？hive本身不会不会进行计算的，hive会将sql转化为map/reducer来进行大数据计算的。 使用map/reducer的shuffle的特点：采用的是基于序列化的环形字节数组来进行存储。 ...

原创 2、网站日志分析系统_flume、数据存储及ETL

flume的架构图(flume是用来监控本地日志的某一文件) 安装配置flume

原创 1、【项目】网站日志分析系统_数据源讲解及数据收集

Hbase补充：微博案例讲解

原创 2、hbase 基本操作及性能优化

Hbase的API介绍 准备操作 Hbase的DDL操作 Hbase的DML操作： hbase的查询操作：查询hbase数据库中某一列族下的某一列的值，查询是要指定具体的rowKey HBase之六：HBase的RowKey设计 https://www.cnblogs.com/duanxz/p/4660784.html hbaseprotobuf讲解 安装 Google Proto...

原创 1、hbase 架构设计及hbase 部署

Hbase 简介及数据模型 Hbase 架构分析 Hbase 完全分布式搭建 安装时间同步软件 免秘钥登陆

原创 3、hive 权限管理及优化

Hive权限管理 服务器端客户端的配置文件进行相应的修改后，客户端的配置文件也要做相应的同步修改。 创建角色：发现当前角色不能创建角色，只有当前管理员才可以创建角色 查看当前角色，发现是public，将用户的角色设置(切换为)为admin 创建新的角色 Hive的优化 如果加extended可以看到更加详细的输出 采用本地模式来分析数据是执行小林明显提高。 ...

原创 2、hive 基本操作

Hive SQL 通过分析需求来查看文档来完成指定的需求： 查看表中插入的数据 如果想查看更加详细的表的结构可以使用下面的sql语句 查看表中的信息 内部表与外部表在使用时的区别： 内部表在删除表时会将数据和元数据都会删除； 外部表在删除表时只会将元数据删除，但是数据还保存在hdfs的文件系统中 上述原因分析： 内部表创建后的数据还由hive进行对数据进行管理； 外部表创建的只是一个...

原创 1、hive 架构设计及集群搭建

hive单用户模式的搭建 挂载本地yum 通过yum来安装mysql-server 注意mysql安装时要注意安装的mysql-server,而不是mysql，安装mysql只是一个客户端 启动mysql服务 设置mysql的开机启动 进行授权操作 直到下面这步mysql正式安装成功 启动node01、node02、node03、node04等节点，并查看启...

原创 3、MapReduce 分布式计算框架架构设计及项目案例

hadoop-mapreduce-架构概念01_1

原创 2、Hadoop 高可用集群及java API

单机伪分布式hadoop的搭建 参照：https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html node01ssh远程登录node02来远程操作node02节点的内容，此过程是不会加载/etc/profile文件的。 1、 进行免密钥操作 2、安装jdk 配置环境变...

原创 1、hadoop简单介绍及架构介绍

hadoop-hdfs-角色介绍 hadoop-hdfs-fsimage与edits合并 hadoop-hdfs-读写流程 读流程：1、读的时候namenode会对datanode排好序，根据距离优先，会先读取距离近的datanode.2、hdfs分布式读取系统可以根据排好的序选择最近的datanode进行读取，很好的解决了本地化读取文件的流程 ...

原创 9、高并发与负载均衡-nginx-session一致性

注意session时间的一致性，就是session的时间的失效问题。

原创 8、高并发与负载均衡-nginx配置虚拟服务器

可以做广告计费，通过分析日志文件 ** 查看nginx的官方中文文档 定义反向代理 定义负载均衡

原创 7、高并发与负载均衡-nginx安装配置

做配置产生makefile文件 nginx支持模块化热部署，可以在不停服务的时候，修改配置文件，master重新加载配置文件，产生新的worker，加载完毕后销毁旧的worker。 ...

原创 6、高并发与负载均衡-nginx反向代理

原创 5、高并发与负载均衡-keepalived-概念介绍与实验

keepalived-概念介绍 LVS存在的问题：1、LVS存在单点故障，导致服务不能访问；2、真实机存在单点故障，导致部分用户能访问。 keepalived实验 清除node1的lvs的内核部分 keepalived的配置文件目录 node1配为master,node4配为backup,当node1宕机后，node4会变为master 当node1恢复后，node1又变成m...

原创 4、高并发与负载均衡-lvs-DR模型试验

目前所用的配置都是临时配置 ** 简写 对all目录中的两个文件也做这两个操作 对node3节点重复操作上述操作 启动两台 real server,并且访问 刷新地址栏后会轮询切换到102与103两台真实机上 查看lvs偷窥 ...

原创 3、高并发与负载均衡-lvs-功能配置介绍

原创 2、高并发与负载均衡-lvs-三种模型推导

私有地址是不允许接入互联网的，任何接入互联网的ip地址都是公网ip地址 原地址ipNAT转换 - WMware虚拟机和家庭网络就是按照这种方式来上网的

原创 1、高并发与负载均衡-理论推导和TCP/IP基础知识

-http是面向无连接无状态的，而TCP是面向连接的，可靠的，会经历三次握手和四次挥手 端口号一共有65535个 查看路由表 查看下一跳的mac地址：

原创 22、shell总结

第四种方式使用了管道，管道的左右两边会开辟新的bash,所以涉及变量的值时要注意

原创 21、shell-流程控制

注意while后面必须跟一个命令 增加判断是否是一个文件

原创 20、shell-添加用户脚本

shell-添加用户脚本一 test 与 [ 的用法是相同的 传统方式添加用户 通过脚本来添加新用户 脚本存在问题：1、如果没有指定参数的时候，输出的错误信息过多。2、没用做到静默输出 shell-添加用户脚本完善 问题一：针对静默输出进行完善 问题二：针对有过多的错误信息的完善 问题三：如果用户已经存在也可以添加，需要完善，依据下面的内容提供灵感： 如果不是r...

原创 19、shell-引用-逻辑判断

环境变量使用export，无论开启多少个子bash，都可以引用到顶级父bash中的系统变量 导出非共享 短路与和短路或之逻辑判断

原创 18、shell变量

shell变量一 与百度建立socket连接 对百度发起请求，并查看响应结果 http1.0是一个短连接，一次只能发起一次请求。下次请求必须重新建立连接 变量 类似的本地变量还有 局部变量 本地变量与局部变量的区别，定义本地变量时必须加local 位置变量 shell变量二 ...

原创 17、文本流及重定向

文本流及重定向一 开启三个会话后，后面的0、1、2代表的是虚拟终端 干预标准输出方式不要输出到控制台，输出到aaa文件中 ls /etc 1>ccc 是覆盖重定向，s /etc 1>>ccc 是追加重定向 标准错误输出 文本流及重定向二 将标准输出和错误输出分别输出到不同的文件中。 原因：与顺序无关，先输出错误输出，再输出标准输出 下面两种都可以省略标准...

原创 16、bash脚本编程

什么是bash bash用户输入方式 bash文本输入方式 source的作用： “.”和souce的功能相同 查看bash之间的关系 开启了一个新的bash，执行完毕后子bash退出到父bash中 不敲bash,将文件变为可执行文件后，也会开启新的进程 所有的脚本文件都包含的头信息，虽然注释，也会取到后面的命令，如果没有这个头文件也会开启子bash的 ...

原创 15、yum安装及配置

yum安装及配置方式一(有网络环境) 列举目录下的文件 rpm安装时针对独立的软件安装时比较有优势，但是如果安装的软件具有依赖关系时 需要单独下载依赖关系，那么整个过程就变得相当繁琐，yum安装可以解决这个问题。 国内的开源镜像站 更换阿里镜像站，不再使用默认的镜像站 配置阿里镜像站后直接从阿里镜像站下载，不用从国外下载。下载速快。 此时使用yum来下载mysq-server,执行操作...

原创 14、rpm安装

用rpm方式来安装jdk

原创 13、linux编译安装

安装软件不是越多越好，合适就好。 安装软件之前要先帮助手册 安装c语言的编译环境 接着执行make和make install命令 说明tengeinel安装成功 安装软件不推荐使用编译安装，推荐使用的rpm安装 ...

原创 12、linux的用户与权限

linux的用户与权限一 删除用户时要删除两个地方的文件夹，否则用户删除不了 root用户可以修改root用户和普通用户的密码，但是普通用户只能修改普通用户的权限 普通用户登陆后只能修改自己的密码 在root权限下添加组share ,并在share组中添加sxt01用户和sxt02用户 改变属组 修改文件或目录的权限，有两种方式：1、字符修改2、数字修改 修改权限的两种方式请参考...

原创 11、文本分析工具awk

文本分析工具awk一 /etc/passwd 文件的介绍 完成下面的作业 取passwd文件中每行的第一个冒号之前的内容并打印出来 方式一 方式二 实现下面的操作 ## 文本分析工具awk二 ...

原创 10、文本分析-sed

文本分析-sed1 查找并替换 注意修改源文件必须要加 -i 采用正则替换 文本分析-sed二 使用sed来更改ip地址 方式一： 缺点：上面的方法比较投机，如果ip地址中出现非法数字，如344，也可以匹配344 ip地址大致分为5种情况，要将这5种情况的ip都列举出来，就可以匹配上 -以后更改ip可以直接粘贴命令，将命令保存在记事本中，以后改ip时可以 ...

原创 09、文本分析-cut-sort-wc

按指定的分隔符进行分割，并且只显示第一列 加参数s将没有分割符的行过滤 对于某些文件我们可以取出指定的列 排序方式有两种，一种是按数字顺序排序、另一种是按字典顺序排序 按字典顺序进行排序 按三种水果按照价格排序 sort排序的作用：处理文本文件，可以对文本文件进行分析。 wc ...

原创 08、linu之正则表达式

linu之正则表达式一 查找文本文件中包含“ooxx“”的所有行，并打印，使用grep 将包含数字的行全部打印出来 将包含字符3或4的字符的行打印出来 将包含四位整数的行打印出来 上面的简写 -E 将包含单词“ooxx”的行打印出来 把只包含四位数字的行打印出来 这种方式不是很好 linu之正则表达式二 正则表达式的用途很多，比如匹配邮箱、手机号、IP地址等 ...

原创 07、vi全屏编辑器

vi全屏编辑器一 vi +10 profile 定位到文件的第10行 使用场景：我们在更改配置文件后如果报某一行有错，我们可以将光标定位到这一行 vi + profile 定位到文件的最后一行 vi +/after profile 将光标定位到第一次出现after的位置 保存文件的种方式，由于较为简单，不再截图 vi是一种全屏编辑器 三种模式的切换 vi全屏编辑器二 c...

原创 06、linux的文本操作命令

cat 来查看文件内容 more 分屏来查看文件内容，可以使用回车键一行一行看，也可以使用空格 一屏一屏的看 缺点：看完之后不能通过后退查看之前的转态，进程已经结束 less 命令查看文件时可以通过按b键回到之前的查看状态 缺点：less命令会将文件全部加载到内存中，因此如果查看的文件比较大时。不推荐使用该种方式 haed 命令默认打印文件的前10行 head ...

原创 05、linux系统的文件系统命令

常用命令 df、du是用来甩锅用的，du命令可以查看每一个文件的大小 ls 命令用来查看目录中的文件，后面可以更多个目录，并且用空格隔开 ls -a 用来查看当前目录下的隐藏文件 linux系统中文件的类型 ls 后面如果有多个目录时不同级会先显示浅一级的目录，如果同一层目录会先显示字典顺序靠前的文件或目录，可以使用tree命令来查看具体的显示信息 linux...