weixin_43887514-CSDN博客

原创 Shell

1.概述shell是一个命令行解释器,接收应用程序/用户的命令,然后调用操作系统内核还是一个功能强大的编程语言,易编写,易调试,灵活性强2.Shell解释器linux提供的解释器有cat /etc/shells/bin/sh/bin/bash/sbin/nologin/bin/dash/bin/tcsh/bin/cshbash和sh的关系ll | grep bash3.Shell中的变量系统变量$HOME、$PWD、$SHELL、$USER等

2021-05-19 14:35:17 64

原创 ElasticSearch

ElasticSearch(Java语言全文检索)1.es特性:安装方便:没有其他依赖，下载后安装非常方便；只用修改几个参数就可以搭建起来一个集群JSON：输入/输出格式为 JSON，意味着不需要定义 Schema，快捷方便RESTful：基本所有操作（索引、查询、甚至是配置）都可以通过 HTTP 接口进行分布式：节点对外表现对等（每个节点都可以用来做入口）；加入节点自动均衡多租户：可根据不同的用途分索引；可以同时操作多个索引2.集群其中一个节点就是一个ES进程,多个节点组成一个集群,一

2020-10-18 12:22:06 123

原创 Azkaban

Azkaban(工作流调度器)1.为什么需要工作调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序java程序MapReduce程序hive脚本各任务单元之间存在时间先后及前后依赖关系为了更好组织起这样复杂的执行计划，需要一个工作调度系统来调度执行比如我们每天需要处理20G的业务原始数据，步骤如下：通过hadoop先将原始数据同步到HDFS上借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张hive表中需要对Hiv

2020-10-18 12:20:43 71

原创 Linux

Linux1.CentOS网络配置三种方式的理解桥接模式大家都在同一个网段,相互可以通讯因为IP地址有限,可能造成ip冲突Nat(网络地址转换模式)虚拟机不占用其他的ip所以不会ip冲突内网的其他人不能和虚拟机通讯主机模式单独的一台电脑2.在linux世界里,一切皆文件(即使是一个硬件设备,也是使用文本来标志)3.Vi和Vim编辑器Vim具有程序编辑的能力,可以看Vi的增强版本,可以主动以字体颜色辨别语法的正确性,方便程序设计.代码补充,编译即错误跳转等方便编

2020-07-16 18:55:21 101

原创 Java

1.跨平台原理平台:指的是操作系统(Windows,Linux,Mac)跨平台:Java程序可以在任意操作系统上运行,一次编写到处运行原理:实现跨平台需要依赖Java的虚拟机JVM(Java Virtual Machine)2.JVM,JRE,JDKJVM:java虚拟机,java程序需要运行在虚拟机上,不同平台有自己的虚拟机,因此java语言可以跨平台JRE:包括Java虚拟机和Java程序所需要的核心类库等,如果想要运行一个开发好的Java程序,计算机中只需要安装JRE即可JRE:

2020-07-14 23:36:30 138

原创 Hive

1.OLAP（联机分析技术）什么是hive由Facebook开源用于解决海量结构化日志的数据统计。基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。hive的本质就是将HQL 转换成mapreduce任务的工具hive利用HDFS存储数据，利用MapReduce查询分析数据特点hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn上2.Hive优缺点优点:操作接

2020-06-27 01:15:23 240

原创 Spark1

Spark1.优势 Spark中的job中间输出结果可以保存在内存中，从而不再需要读写HDFS2.特点快：Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用通用：Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark S...

2019-07-01 17:45:25 101

weixin_43887514的博客