- 博客(14)
- 收藏
- 关注
RSS订阅
原创 Eclipse项目转IntelliJ(Java Application)
一、导入Eclipse项目至idea1、Import Project（导入项目地址）2、选择使用 Eclipse 方式打开然后一直 next 到选择 SDK ,完成后导入成功二、依赖（jar包）配置1、配置依赖打开Project Structure（ctrl + alt + shift + s），选择Modules节点进行项目配置选择你的项目，打开Dependencies选型...
2019-03-20 09:24:57
520
原创 Hadoop实战篇-集群版（2）
Hadoop实战篇（2）作者 | WenasWei前言在上一篇的Hadoop实战篇介绍过了Hadoop-离线批处理技术的本地模式和伪集群模式安装，接下来继续学习 Hadoop 集群模式安装; 将从以下几点介绍:Linux 主机部署规划Zookeeper 注册中心安装集群模式安装Hadoop 的目录结构说明和命令帮助文档集群动态增加和删除节点一 Linux环境的配置与安装HadoopHadoop集群部署规划:Hadoop需要使用到 Linux 环境上的一些基本的配置需要，Hado
2021-11-18 16:56:10
644
原创 Hadoop实战篇（1）
Hadoop实战篇（1）作者 | WenasWei前言在前面介绍过了Hadoop-离线批处理技术的整体架构，接下来便开始学习安装配置并使用 Hadoop ; 将从以下几点介绍:Linux 环境的配置与安装 HadoopHadoop 的三种安装模式介绍本地模式安装伪集群模式安装一 Linux环境的配置与安装HadoopHadoop需要使用到 Linux 环境上的一些基本的配置需要，Hadoop 用户组和用户添加，免密登录操作，JDK安装1.1 VMWare中Ubuntu网络配置在使
2021-06-05 23:11:54
2076
1
原创 Logstash-数据流引擎
Logstash-数据流引擎作者 | WenasWei一 LogstashLogstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到您选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。1.1 Logstash简介Logstash 是一个数据流引擎：它是用于数据物流的开源流式 ETL（Extract-Transform-Load）引擎在几分钟内建立数据流管道具有水平可扩展及韧性且具有自适应缓冲不可知
2021-05-31 23:09:21
983
3
原创 VMWare中Ubuntu网络配置
VMWare中Ubuntu网络配置作者 | WenasWei前言在使用 VMWare 安装 Ubuntu18.04-Linux 操作系统下时产生系统配置问题，正好借这个机会，和大家一起分享下 Ubuntu 18.04 的一些基本操作和网络配置，主要涉及到 NAT 网络和网络配置处理，将从以下几点介绍:修改主机名称Windows设置VMWare的NAT网络访问公网设置与配置静态IP修改hosts文件设置免密登录一、Ubuntu系统信息与修改主机名1.1 查看Linux系统版本信息1
2021-05-13 00:05:35
1883
原创 Nginx-代理服务器
Nginx-代理服务器作者 | WenasWei一 Nginx代理服务器1.1 Nginx简介Nginx 是一款高性能的 HTTP 服务器/反向代理服务器及 IMAP/POP3/SMTP 代理服务器。由俄罗斯的程序设计师 Igor Sysoev 所开发，官方测试 Nginx 能够支支撑 5 万并发链接，并且 CPU、内存等资源消耗却非常低，运行非常稳定。Nginx 代码完全用C语言从头写成，以事件驱动的方式编写，所以有非常好的性能，同时也是一个非常高效的反向代理、负载平衡服务器。在性能上，Ng
2021-05-07 22:05:19
1296
原创 Linux字符截取命令-cut
Linux字符截取命令-cut作者 | WenasWei一 Linux之cut命令详解将每个文件中选定的行部分打印到标准输出, 如果没有文件，或者文件是-，则读取标准输入,长选项的强制参数对于短选项也是强制的。cut 是一个选取命令,一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的,用于显示每行从开头算起 num1 到 num2 的文字。1.1 使用语法cut [-bn] [file]cut [-c] [file]cut [-df] [file]1.2 使用说明
2021-04-26 01:37:14
2883
原创 大数据-数据处理分类篇
数据处理分类篇作者 | WenasWei一 数据发展大数据是这个时代最热的话题，大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。其实数据一直都在，只不过是记录数据的方式在变化。自古至今，可以简单分为四个阶段: 书籍载体阶段、计算机存储阶段、互联网阶段和物联网阶段。1.1 书籍载体阶段第一个阶段，以前没有 IT 前使用的是书本等记录数据，这个时候受限于
2021-04-23 01:55:18
1544
原创 Storm-实时计算系统
Storm-实时计算系统作者 | WenasWei一 Storm1.1 Storm简介Storm 最早是由 BackType 公司开发的实时处理系统，底层由 Clojure 实现。Clojure 也是一门基于 JVM 的高级面向函数式的编程语言。2011年 Twitter 公司收购了 BackType 公司，便使用 Storm 帮助企业解决了实时海量数据处理的问题。阿里巴巴在 Storm 基础上，使用 Java 代替 Clojure 实现了核心，并在性能上进行了优化，产生了JStorm。目前 St
2021-04-21 02:36:02
1110
原创 Hadoop-离线批处理技术
Hadoop-离线批处理技术作者 | WenasWei一 HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS1和MapReduce2。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。
2021-04-19 19:46:52
1339
2
原创 认知：大数据-Big Data
大数据-Big Data作者 | WenasWei一 大数据大数据(Big Data)也称为海量数据(Massivee),是随着计算机技术及互联网技术的高速发展而产生的数据现象，2013年也称为大数据元年。标志着全球正式步入了大数据时代。大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）Velocity（高速）Vari
2021-04-11 11:04:54
2134
原创 带你认识AIOps智能运维
一、AIOps智能运维早在2016年之前，著名IT研究机构Gartner在其词库就添加了AIOps1这一词条，彼时AIOps是Algorithmic IT Operations的缩写，按照字面理解，AIOps是一种基于算法的运维方式。清华大学裴丹教授对AIOps的定义是：AIOps将人工智能应用于运维领域，基于已有的运维数据（日志、监控信息、应用信息等），通过机器学习的方式来进一步解决自动化运维没办法解决的问题。AIOps 不依赖于人为指定规则，主张由机器学习算法自动地从海量运维数据中不断地学习，不断地
2021-04-07 20:47:19
2504
翻译 Docker help帮助文档
1、查看 docker help 帮助docker help2、用法:docker [OPTIONS] COMMAND3、选项: -- 客户端配置文件的配置字符串位置(默认为“/root/.docker”)-D, --启用调试模式-H, --要连接的主机列表守护进程套接字-l, --设置日志级别的字符串 (“调试”|“信息”|“警告”|“错误”|“...
2019-03-16 22:11:10
363
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人