yanqi_vip-CSDN博客

原创 SS00007.airthmetic——|Hadoop&Arithmetic环境部署.v07|——|Arithmetic.v07|Matplotlib数据可视化|

一、Matplotlib模块安装### --- 在windows.dos下安装MatplotlibC:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple~~~ # 输出参数Installing collected packages: pytz,...

2022-04-18 13:47:00 108

原创 SS00005.airthmetic——|Hadoop&Arithmetic环境部署.v05|——|Arithmetic.v05|NumPy科学计算库：NumPy模块|

一、NumPy科学计算库### --- 安装numpy模块C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple~~~ # 输出参数：Successfully installed numpy-1.21.5二、启动jupyter终端...

2022-04-18 13:46:00 91

原创 SS00004.airthmetic——|Hadoop&Arithmetic环境部署.v04|——|Arithmetic.v04|Jupyter交互程序|

一、指定默认启动目录### --- 查看jupyter_noteboot_config.py配置文件所在地址~~~ # 查看jupyter_noteboot_config.py配置文件所在地址C:\Users\Administrator>jupyter notebook --generate-configOverwrite C:\Users\Administra...

2022-04-18 13:46:00 855

原创 SS00002.airthmetic——|Hadoop&Arithmetic环境部署.v02|——|Arithmetic.v02|PyCharm.20200205安装|

一、PyCharm.20200205安装### --- 下载地址：~~~ https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC2、安装PyCharm.202002053、更改安装目录4、安装设置5、选择开...

2022-04-18 13:45:00 491

原创 SS00003.airthmetic——|Hadoop&Arithmetic环境部署.v03|——|Arithmetic.v03|Jupyter交互程序|

一、安装jupyter库### --- 查看pip版本C:\Users\Administrator>pip --versionpip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10)### --- 在windows.dos下安装jupyter### --- win+R：dos窗口...

2022-04-18 13:45:00 620

原创 SS00001.airthmetic——|Hadoop&Arithmetic环境部署.v01|——|Arithmetic.v01|Python310安装.V1|

一、Python310安装配置1、下载地址：https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe2、自定义安装3、自定义插件安装4、更改安装目录5、安装成功二、配置环境变量：1、配置系统环境变量：配置Python310_home环境变量2、配置Path变量...

2022-04-18 13:44:00 817

原创 SS00016.elasticsearch——|Deployment|

NO：Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...

2022-04-18 13:42:00 71

原创 SS00015.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v15|——|Elasticsearch.v15|

一、Logstash读取Kafka### --- Logstash配置文件~~~ 官网地址：https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html### --- 上传IP地址库~~~ # 上传IP地址库到Datas目录下[root@hadoop02 ~]# ll /o...

2022-04-18 13:41:00 1580

原创 SS00014.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v14|——|Elasticsearch.v14|

一、Filebeat### --- Filebeat~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题，~~~ 因为Logstash是Java语言编写，~~~ 所以官方推出了一些轻量级的采集工具，推出了Beats系列，其中使用比较广泛的是Filebeat。~~~ 官方地址：https://www.elastic...

2022-04-18 13:40:00 2103

原创 SS00013.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v13|——|Elasticsearch.v13|

一、日志分析平台实战一、Nginx部署### --- 安装git工具，安装wget下载工具~~~ # 安装相关工具包：Hadoop02[root@hadoop02 ~]# yum install wget git -y[root@hadoop02 ~]# yum install gcc-c++ -y[root@hadoop02 ~]# yum ins...

2022-04-18 13:40:00 104

原创 SS00011.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v11|——|Elasticsearch.v11|

一、filter插件### --- Filter插件~~~ Logstash之所以强悍的主要原因是filter插件；~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。~~~ 官网地址：https://www.elastic.co/guide/en/Logstash/current/plugins-filters-grok.html### ...

2022-04-18 13:39:00 637

原创 SS00012.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v12|——|Elasticsearch.v12|

一、Output插件：标准输出到控制台### --- 标准输出到控制台~~~ # 将收集的数据直接打印到控制台[root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \-e 'input{stdin{}}output{stdout{codec=>rubydebug}}'~~~ # 输...

2022-04-18 13:39:00 109

原创 SS00009.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v09|——|Elasticsearch.v09|

一、Logstash### --- Logstash介绍及安装~~~ 官网：https://www.elastic.co/guide/index.html~~~ Logstash：https://www.elastic.co/guide/en/logstash/current/index.html### --- 介绍~~~ Logstash...

2022-04-18 13:38:00 203

原创 SS00010.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v10|——|Elasticsearch.v10|

一、Input插件部署### --- Input插件部署~~~ stdin标准输入和stdout标准输出### --- 使用标准的输入与输出组件~~~ # 使用标准的输入与输出组件，实现将我们的数据从控制台输入，从控制台输出[root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash -e...

2022-04-18 13:38:00 431

原创 SS00007.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v07|——|Elasticsearch.v07|索引

一、安装IK分词器### --- 安装IK分词器~~~ # hadoop01~03：使用root用户部署IK分词器，然后重启ES服务~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录[root@hadoop02 ~]# mkdir /opt/yanqi/servers/es/elasticsearch/pl...

2022-04-18 13:37:00 84

原创 SS00008.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v08|——|Elasticsearch.v08|

一、词典使用### --- 词典使用~~~ # 扩展词：~~~ 就是不想让哪些词被分开，让他们分成一个词。比如上面的江大桥~~~ # 停用词：~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。~~~ 停用词...

2022-04-18 13:37:00 331

原创 SS00006.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v06|——|Elasticsearch.v06|

一、部署kibana服务### --- 下载kibana版本包~~~ # 下载kibana服务版本包：使用root用户部署[root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3.0-linux-x86_64.tar.gz### --- 部署...

2022-04-18 13:36:00 122

原创 SS00004.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v04|——|Elasticsearch.v04|

一、安装elasticsearch-head插件### --- Elasticsearch Head插件介绍及安装和验证主从环境~~~ Elasticsearch Head插件介绍及安装### --- elasticsearch-head 简介~~~ elasticsearch-head是一个界面化的集群操作和管理工具，可以对集群进行傻瓜式操作。~...

2022-04-18 13:35:00 206

原创 SS00005.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v05|——|Elasticsearch.v05|

一、ElasticSearch-head：谷歌浏览其插件方式安装：测试环境推荐使用### --- ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行，~~~ 并且支持Chrome的插件方式或者Docker容器运行方式。二、...

2022-04-18 13:35:00 612

原创 SS00003.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v03|——|Elasticsearch.v03|

一、Elasticsearch 集群环境准备### --- hadoop01~03修改系统配置：修改/etc/sysctl.conf~~~ # 修改/etc/sysctl.conf[root@hadoop01 ~]# vim /etc/sysctl.conf~~~在文件末尾添加如下参数vm.max_map_count=655360~~~ # 执行sys...

2022-04-18 13:34:00 197

原创 SS00002.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v02|——|Elasticsearch.v02|

一、简单使用es### --- 创建blog01索引~~~ # 创建blog01索引：若是返回是true，说明创建索引是成功的[root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数{ "acknowledged" : true, "shards_acknowle...

2022-04-18 13:34:00 90

原创 SS00001.elasticsearch——|Hadoop&ElasticSearch集中式日志分析系统.v01|——|Elasticsearch.v01|

一、Elasticsearch Single-Node Mode部署### --- Elasticsearch Single-Node Mode部署~~~ Elasticsearch是一个分布式全文搜索引擎，~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode)部署，~~~ 一般来说，小公司的业务场景往往使用S...

2022-04-18 13:33:00 128

原创 SS00022.olap——|Deployment|

NO：Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...

2022-04-18 13:32:00 64

原创 SS00020.olap——|Hadoop&OLAP数据库管理系统.v20|——|Kylin.v11|Apache Druid部署|单服务器部署|

一、Druid 部署### --- 下载Druid版本包并解压版本包~~~ # 下载 Druid 安装包、并解压缩：~~~ # Druid官网：https://druid.apache.org/[root@hadoop01 ~]# cd /opt/yanqi/software/~~~ # 官网源下载地址[root@hadoop01 software...

2022-04-18 13:31:00 112

原创 SS00021.olap——|Hadoop&OLAP数据库管理系统.v21|——|Kylin.v12|Apache Druid部署|集群部署|

一、集群部署### --- 环境资源说明~~~ 虚拟机每个节点2core、3G~~~ DeepStorage：Hadoop 2.9.2### --- 部署规划：集群部署采用的分配如下~~~ 主节点部署 Coordinator 和 Overlord进程~~~ 数据节点运行 Historical 和 MiddleManager进程~~~...

2022-04-18 13:31:00 150

原创 SS00019.olap——|Hadoop&OLAP数据库管理系统.v19|——|Kylin.v10|Kylin构建Cube|实时OLAP.V2|

一、OLAP环境准备### --- OLAP环境准备~~~ # 进入服务部署目录[root@hadoop02 ~]# cd /opt/yanqi/servers/~~~ # coordinator[root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3.1.1-master/~~~ # receiver...

2022-04-18 13:30:00 301

原创 SS00018.olap——|Hadoop&OLAP数据库管理系统.v18|——|Kylin.v09|Kylin构建Cube|Segment管理|

一、使用JDBC连接操作Kylin### --- 使用JDBC连接操作Kylin~~~ 要将数据以可视化方式展示出来，需要使用Kylin的JDBC方式连接执行SQL，获取Kylin的执行结果~~~ 使用Kylin的JDBC与JDBC操作MySQL一致~~~ jdbc url：jdbc:kylin://hadoo02:7070/yanqi_sales_o...

2022-04-18 13:30:00 113

原创 SS00016.olap——|Hadoop&OLAP数据库管理系统.v16|——|Kylin.v07|sparkcore高可用配置|

一、高可用配置：spark standalone集群配置### --- 修改 spark-env.sh 文件，并分发到集群中[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh# export SPARK_MASTER_HOST=hadoop01 # 注释掉这2行内容# export SPARK...

2022-04-18 13:29:00 99

原创 SS00017.olap——|Hadoop&OLAP数据库管理系统.v17|——|Kylin.v08|Kylin部署配置|

一、Kylin安装环境准备：依赖环境软件版本Hive2.3.7Hadoop2.9.2HBase1.3.1Zookeeper3.4.14Kafka1.0.2Spark2.4.5二、集群规划serverHadoop01hadoop02hadoop03HDFSNameNode✔...

2022-04-18 13:29:00 626

原创 SS00014.olap——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|

一、集群模式--Standalone模式### --- 检查集群状态~~~ # 启动服务[root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh[root@hadoop01 ~]# start-all-spark.sh~~~ # 检查集群状态[root@hadoop00 ~]#...

2022-04-18 13:28:00 588

原创 SS00015.olap——|Hadoop&OLAP数据库管理系统.v15|——|Kylin.v06|history server|

一、History Server配置### --- History Server~~~ # 配置服务的history server：spark-defaults.conf[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf# history serverspark.master ...

2022-04-18 13:28:00 581

原创 SS00013.olap——|Hadoop&OLAP数据库管理系统.v13|——|Kylin.v04|Spark集群部署|

一、spark安装### --- 下载软件解压缩，~~~ # 下载spark版本包[root@hadoop01 software]# wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz~~~ # 解压版本包[r...

2022-04-18 13:27:00 104

原创 SS00012.olap——|Hadoop&OLAP数据库管理系统.v12|——|Kylin.v03|HBase Shell操作|

一、HBase shell 基本操作### --- 进入Hbase客户端命令操作界面~~~ # 进入hbase客户端[root@hadoop01 ~]# hbase shell~~~ # 查看帮助命令hbase(main):004:0> help~~~ # 查看当前数据库有哪些表hbase(main):008:0> list...

2022-04-17 16:22:00 73

原创 SS00010.olap——|Hadoop&OLAP数据库管理系统.v10|——|Kylin.v01|zookeeper&kafka|集群搭建|

一、集群搭建：搭建设计### --- 分配三台Linux，用于安装拥有三个节点的Kafka集群。Hadoop01 192.168.1.121Hadoop02 192.168.1.122Hadoop03 192.168.1.123一、部署kafka集群：配置hosts文件### --- 以上三台主机的/etc/hosts配...

2022-04-17 16:21:00 149

原创 SS00011.olap——|Hadoop&OLAP数据库管理系统.v11|——|Kylin.v02|HBase集群部署|

一、HBase集群安装部署### --- 下载安装包~~~ # 下载HBase版本包[root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz### --- 解压安装包到指定的规划目录[root@hadoop01 softwar...

2022-04-17 16:21:00 214

原创 SS00009.olap——|Hadoop&OLAP数据库管理系统.v09|——|kudu.v01|部署安装|ntp|

一、安装和运行### --- 安装前提和准备~~~ # 硬件：~~~ 一台或者多台机器跑kudu-master。~~~ 建议跑一个master(无容错机制)、~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。~~~ 一台或者多台机器跑kudu-tserver。当需要使用副本，至少需要三个节点运...

2022-04-17 16:21:00 132

转载 SS00007.olap——|Hadoop&OLAP数据库管理系统.v07|——|ClickHouse.v07|ClickHouse链接kafka|

一、ClickHouse链接Kafka### --- ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。~~~ # Kafka 特性：~~~ 发布或者订阅数据流。~~~ 容错存储机制。~~~ 处理流数据。### --- 链接语法格式~~~ # 老版格式：Kafka(kafka_broke...

2022-04-17 16:20:00 96

原创 SS00008.olap——|Hadoop&OLAP数据库管理系统.v08|——|ClickHouse.v08|ClickHouse链接JDBC|

一、JDBC### --- ClickHouse链接JDBC~~~ 允许CH通过 JDBC 连接到外部数据库。~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。~~~ 该引擎支持 Nullable 数据类型。### --- 建表语法CREATE TABLE [IF NOT EXISTS...

2022-04-17 16:20:00 97

原创 SS00006.olap——|Hadoop&OLAP数据库管理系统.v06|——|ClickHouse.v06|ClickHouse链接MySQL|

一、ClickHouse链接mysql### --- mysql说明~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。### --- 调用格式：MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query,'on_duplica...

2022-04-17 16:19:00 86

原创 SS00003.olap——|Hadoop&OLAP数据库管理系统.v03|——|ClickHouse.v03|表引擎|MergeTree|

一、JBOD策略### --- 配置方式在config.xml配置文件中指定：~~~ # 在集群主机上config.xml配置JBOD策略[root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml~~~ 在config.xml文件最后一行：</yandex>参数之上添加JBOD参数<stor...

2022-04-17 16:18:00 90

空空如也

空空如也