- 博客(162)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 开启追梦之旅
如果决意去做一件事了，不要公开宣布个人目标，只管安安静静的去做。因为那只是你自己的事，别人不知道你的情况，也不可能帮你实现梦想。千万不要因为虚荣心而炫耀。也不要因为别人的一句评价而放弃自己的梦想。其实最好的状态，是坚持自己的梦想，听听前辈的建议少错几步。1.我曾七次鄙视自己的灵魂：第一次，当它本可以进取时，却故作谦卑；第二次，当它在空虚时，选择用爱欲填充；第三次，在...
2020-04-26 16:38:43
416
原创 【snmp离线安装】了解国产操作系统OS以及离线安装教程
简单网络管理协议（SNMP） 是专门设计用于在 IP 网络管理网络节点（服务器、工作站、路由器、交换机及HUBS等）的一种标准协议，它是一种应用层协议。
2023-09-08 18:16:47
455
原创 【Redis】知识体系结构构建以及常见考题汇总
redis基于内存的nosql数据库、常用于mysql的缓存数据库特点：基于内存、单线程（执行命令是单线程，为了确保原子性命令）、IO多路复用、键值对存储的数据库
2022-12-26 23:37:50
899
1
原创 【计算机网络】知识体系构建以及常见考题汇总
网络：是一套完善体系、是一个联通计算机的网状集合> 计算机网络定义：将 多个独立 *计算机系统* 之上的*应用软件* 利用*通信设备以及线路* 进行资源共享、数据通信、分布式处理、提高可靠性、负载均衡的完善系统是网络。
2022-10-22 00:45:00
1113
原创 【SQL】以mysql为例系统学习DQL理论知识
sql是什么？一种计算机语言，一种操作数据库的结构化查询语言> SQL 是关系型数据库的标准语言，所有的关系型数据库管理系统（RDBMS），比如 MySQL、Oracle、SQL Server> 二、数据库是什么？大量数据的集合，按照数据结构来组织、存储和管理数据的仓库
2022-10-19 15:37:25
674
1
原创 【慕课-湖南大学】服务设计与商业模式
内容：【物到非物】产品承载功能和服务系统（系统按类型划分为接触点来分析设计：（物理的：导视系统环境空间、数字的：挂号系统、人际的接触点：服务过程中客户与服务/人交互的地方），其中接触点中用户感受不好的就是：痛点）、【服务要素：有形到无形】无形的价值通过有形的方式显性化（可感知类型的：视觉化）呈现出来。服务体验路程、关键接触点、每个接触点上用户的心理状态（注意力、态度、情绪、想法）、接触点和接触点之间的交互历程（动作、交互类型）、接触点之间的联系关系（单向、双向）、每个接触点上可能的设计机会点和阻碍。
2022-09-13 23:14:40
1296
原创 【Linux面试题】全网汇总总结：Linux基础、常用命令、shell脚本、常见笔试题
【Linux面试题】全网汇总总结：Linux基础、常用命令、shell脚本Linux基础知识Linux常用命令shell基础知识shell笔试题Linux基础知识Linux常用命令shell基础知识shell笔试题
2022-07-14 22:04:36
859
原创 Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）
Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）1、Flink虚拟机环境部署2.1、standalone模式2.2、on yarn模式三级目录1、Flink虚拟机环境部署软件版本flink1.12.5jdk1.8zookeeper1.12.5hadoop1.12.52.1、standalone模式机器名称担任角色node01jobmanagernode02-06t
2022-05-03 17:03:08
2722
原创 【思维导图】Linux运维-相关知识，实操基本命令、shell编程脚本
【思维导图】Linux运维-相关知识，实操基本命令、shell编程脚本整体架构思维导图整体架构思维导图linux基础：了解linux设计包含内核以及之间的逻辑设计等，一般怎么使用，采用vm工具学习，其中在安装时学习磁盘分区（一般分为三个区），有关linux 的目录结构，每个目录下一般包含什么文件。linux实操基础篇：主要是远程链接有关ssh相关，linux中有关vi和vim编辑器的基础，一些常用命令：主要分为，系统相关命令，网络相关，用户管理，文件和文件夹操作，帮助命令。进阶篇：
2022-03-22 12:20:35
1667
原创 【Alink-Python版本】学习&实践-数据源、数据处理、回归、分类、聚类
【Alink】学习&实践-数据源、数据处理、回归、分类、聚类Alink学习链接汇总1、数据源读取1.1、读取CSV文件（分批流）1.2、按行读入文件（分批流）1.3、读取Kafka数据（流式）（1）部署单节点kafka（使用kafka中的zookeeper）（2）使用Alink流式写入/读取topic数据解析json数据+sql格式转化2、数据处理（边用边总结）3、回归3.1、线性回归训练（批式）&预测（批式和流式）（1）批式（2）流式4、分类5、聚类数据导出导出CSV文件按行导出到文件导出
2022-03-19 18:08:44
2839
3
原创 【大数据】思维导图-数据采集、存储、数据仓库、计算框架、资源管理&任务调度、部署、可视化
【大数据】思维导图大数据常用流程图思维导图大数据常用流程图大数据技术分为多个层次思维导图参考学习路线图：黑马和尚硅谷http://www.itheima.com/https://www.gulixueyuan.com/大数据相关学习路线分为：数据保存到数据库中，分为关系型数据库（常用mysql）以及非关系型数据库（Hbase分布式列式数据库），redis键值对数据库，以及clickhouse列式数据库。数据采集工具：实时产生的日志或者文件视频等数据、以及已经存储到数据库里的数据需要查
2022-03-18 12:09:39
5841
原创 机器学习【基于sklearn库】-回归、分类、聚类
机器学习-回归、分类、聚类1.是什么？2.一些基础概念（建议先看具体例子再返过来看概念）mse均方误差、r2等等衡量标准过拟合和欠拟合方差var和偏差bias3.按照标签的多少和有无来分类：3.1.监督学习回归一次方线性回归原理损失函数/代价函数（衡量model内部函数哪个更好的方法）计算模型中函数的方法：线代投影/最小二乘法求导（简单损失函数可以计算出来）梯度下降法（复杂损失函数无法直接计算出来，梯度下降法迭代计算最优参数）衡量拟合程度方法：相关系数/决定系数r2（跨model衡量拟合程度）多项式（多次方
2022-03-17 00:07:00
3194
1
原创 【基础阶段】思维导图：UI、前端、Java基础、Python基础、数据库以及软件测试
思维导图：UI、前端、Java基础、Python基础、数据库以及软件测试
2022-03-12 15:55:56
2290
原创 大数据-Hadoop是什么，如何部署
大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager2.2.2 NodeManager2.2.3 AppllicationMaster2.3 MapReduce（计算）3.Hadoop目录结构3.1bin3.2etc（配置文件）3.3sbin（启动关闭命令）3.4
2022-03-11 22:55:44
3864
1
原创 Alink-流批一体机器学习算法平台是什么、如何使用
Alink-流批一体机器学习算法平台是什么如何使用maven创建Alink基于PyFlink的Alink是什么Alink是基于Flink流批一体的机器学习平台，提供一系列算法，可以帮助处理各种机器学习任务Alink和FLink有什么关系？借助Flink在批流一体化方面的优势，Alink能够为批流任务提供一致性的操作。 FlinkML 是 Flink 社区现存的一套机器学习算法库，这一套算法库已经存在很久而且更新比较缓慢。Alink 是基于新一代的 Flink，完全重新写了一套，跟 FlinkM
2022-03-04 12:42:00
2337
原创 【日志问题】JDK Logging、Commons Logging和Log4j、Slf4j和Logbacck的介绍和简单使用
【日志问题】JDK Logging、Commons Logging和Log4j、Slf4j和Logbacck的介绍和简单使用是什么简介如何使用log4j +slf4j1.导入依赖2.配置文件log4j.rootCategory = [ level ] , appenderName, appenderName配置日志信息输出目的地AppenderAppender的一些选项3.使用方式是什么产生原因：因为System.out.println()使用起来太麻烦，需要删除和添加什么是日志？日志就是Loggi
2022-02-21 21:24:59
450
原创 ssh登录&免密登录遇到的问题总结
ssh登录&免密登录遇到的问题总结1.解决 ssh_exchange_identification: read: Connection reset by peer问题2.Linux启动SSH服务出现“Permissions 0737 for '/etc/ssh/ssh_host_rsa_key' are too open”3.ssh连接很久才能连上解决3.1查看问题：打开命令行输入ssh root@ip -v加上-v参数查看详细信息3.2解决措施：多个方法3.3其他问题：ssh 登录出现的几种错误以
2021-12-28 22:31:18
1205
原创 【Docker】3.Docker Compose安装与应用、开源项目
【Docker】3.Docker Compose1.了解2.安装3.使用（官方例子）3.1结构4.开源项目（官方例子WordPress）1.了解以前docker使用：镜像--容器，采用手动方式#docker build 、run而且使用使用命令行只能一次启动一个容器然后dockerfile使用：自己创建一个镜像，可以自己定义镜像包含哪些东西，但无法运行起一个应用，只是启动一个容器，但是应用项目中需要启动很多的容器进行配置Docker compose：可以运行起多个容器采用yaml配置
2021-12-05 22:47:27
549
原创 【Docker】2.容器数据卷 、DockerFile、Docker网络
【Docker】2.容器数据卷 、DockerFile、Docker网络1.2容器数据卷使用容器卷Mysql数据挂载具名挂载&匿名挂载1.3DockerFile1.4Docker网络1.2容器数据卷问题：数据在容器中存储，那么我们容器删除，数据就会丢失，相当于数据删库，需要数据可以持久化，存储到本地。那么如何容器与本地之间有个数据共享/同步？卷如何挂载？技术：就是卷技术，也就是目录的挂载，将我们容器内的目录，挂载到linux本机上。首先容器产生的数据持久化到容器的数据库中，如果容器中
2021-12-05 17:19:30
1094
原创 【Docker】1.了解、理解原理、使用教程和命令、commit镜像
【Docker】容器虚拟化技术是什么、如何使用的常用例子是什么问题：【软件跨环境迁移问题】开发和运维之间的代码同步，现在改为配置环境信息和代码一块同步【一个服务器上多个应用独立运行】微服务多个应用不能互相影响为什么不用虚拟机：1.虚拟机（virtual machine）就是带环境安装的一种独立系统（应用程序、操作系统、硬件系统）Docker容器，只对软件进程所需的环境和资源进行隔离虚拟2.虚拟机技术是对hypervisor层实现硬件资源划分隔离，硬件虚拟化技术。Docker容器是操作系
2021-12-04 15:53:56
698
原创 【并行度】2021-AuTraScale: An Automated and Transfer Learning Solution for Streaming System Auto-Scaling
运算符性能模型：运算符的实际处理性能通常被定义为处理的数据元组数量 与 处理时间的比率然而，观察到的运算符的数据处理时间由于阻塞，包含有大量的等待时间，因此不能准确的反应运算符的实际处理能力。因此参考DS2中真实速率的概念（ V. Kalavri, J. Liagouris, M. Hoffmann, D. Dimitrova, M. Forshaw, andT. Roscoe, “Three steps is all you need: fast, accurate, automatic s
2021-11-04 11:37:28
290
2
原创 【调度器】Storm基础知识源码&结合《Storm源码分析》
EvenScheduler调度器：调度器实现IScheduler接口，实现两个方法：该拓扑是否调度的条件两个：拓扑设置的numworkers大于已经分配给该拓扑的worker数量该拓扑未分配的executor数量大于0调度方法：返回一个reassignment：<executor，【node+port】>集合slot排序方法：...
2021-09-16 16:41:04
145
原创 【综述】2020-Resource Management and Scheduling in Distributed Stream Processing Systems
在本文中关注其中的两个方面:1.operator parallelisation—configuring the degree of parallelism for streaming logic, and 2.task scheduling—deciding the placement of streaming tasks on distributed resources.运算符的并行化：配置流逻辑的并行度task任务的调度：决定流任务在分布式资源上的位置...
2021-08-31 09:58:05
238
原创 【并行度】2017Xie-2017-Adaptive-topology-decomposition-for Storm
问题：现有的分解storm拓扑结构的方法不能确保最优的性能。拓扑结构需要手动预设拓扑结构所需的worker数量。实验验证了适当的worker数量设置会影响集群的性能。问题-动机：当一个拓扑结构提交到storm集群中，根据人工预先设定的应分解的worker数量，或者手动进行重新平衡（但如果不分析提交拓扑结构或者监测集群的状态，很难找到合适的worker参数。）worker设置不当会影响到集群的性能，所以要找到一个更好的方式来分解拓扑结构。动机实验：为了发现合适的参数，做实验发现可能影响集群性能
2021-08-26 10:46:21
189
1
原创 【并行度+状态迁移】2016-Elastic stateful stream processing in storm
问题：由于数据源产生数据的速度不可预测，所以流处理系统对动态性要求很高、需要适应能力。本文方法采用两种机制来扩展运行时的动态适应性： automatic elasticity and stateful migration1.自动弹性：在框架层面：实现了扩展决策，即它允许根据扩展策略自动调整每个应用的运算符的并行实例数量，本文提出一个简单的基于阈值的策略（根据传入的工作负载弹性地改变每个运算符的并行实例数量）。由于框架层面实现了弹性，storm可以与底层的扩展系统耦合，通过根据需要获取和释放计算
2021-08-19 20:57:55
206
原创 【调度】2021-BAN-Storm: a Bandwidth-Aware Scheduling Mechanism for Stream Jobs
知识：storm调度器机制：worker数量在拓扑结构执行时保持不变（静态）。数据流方面（数据传输速率）会有很大变化，但例如默认调度器使用静态配置没有考虑到，会导致系统的吞吐量。该情况下，storm需要暂停正在执行的拓扑结构，重新编译改变配置重新部署，这就造成昂贵的延迟开销。问题：目前流处理系统没有考虑通信模式、计算资源的异质性，这会导致将高通信的任务映射到不同且成本高的远程节点上，增加通信成本和延迟。本文方法：提出一个考虑任务之间的通信（历史通信）、和其他重要调度方面（异质性：机器的计
2021-08-19 11:00:50
270
原创 【调度】【公开源码】2013-Adaptive Online Scheduling in Storm
Storm模型： A Storm application is modeled as a topology, i.e. a graph where nodes are operators and edges represent data flows among such operators. storm的应用建模为一个拓扑结构，DAG有向无环图，其中图中的节点是运算符，边代表着运算符之间的数据流 A Storm cluster can run topologies (Storm’s jargon
2021-08-08 17:24:46
358
1
原创 【调度】2020-A3‑Storm: topology‑, trafc‑, and resource‑aware storm scheduler for heterogeneous clusters
问题：目前，流处理引擎（SPE）在调度时忽略了拓扑结构、executor之间的关系，频繁通信的task在调度时必须考虑其他方面的问题：资源供应、task的计算需求、通信worker node节点之间的物理距离等等。频繁通信的task可能会在不同的计算节点上，从而增加了网络延迟。默认调度器问题：当storm集群是一个由两个worker node节点充当supervisor调度下图线性拓扑时：spout a分配到supervisor 1bolt a分配到supervisor 2bolt b分
2021-08-05 11:03:36
257
原创 【调度】2020-TOSS: A Topology-based Scheduler for Storm Clusters
在DSPS中（例如storm）调度问题上有性能瓶颈：如何在集群中的所有可用节点中部署storm应用拓扑的组件。TOSS基于结构的调度器：1.节点间的流量2.考虑基于拓扑结构形式的调度器3.减少运行时重新调度的开销目的：通过缩短总体通信成本来减少进程间的平均延迟，同时平衡多个集群节点的负载。原理：TOSS在静态拓扑结构上识别具有大量通信的边，将这种通信密集型的边分到一组slot中（由α自我调整参数管理的slot）。将一组executors分配到工作负载最小的节点上。优点：1.通过分析拓扑结
2021-08-02 21:04:56
312
5
原创 神经网络学习
机器学习作者：金簪雪里埋链接：https://www.zhihu.com/question/68039355/answer/259147431来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。机器学习（Machine Learning）可以被看成一项任务，这个任务的目标就是让机器（广义上的计算机）通过在数据中学习来获得类似人类的智能。例如人类会下围棋，AlphaGo或AlphaGo Zero就是一个掌握了围棋知识、会下围棋的计算机程序。实现机器学习任务的方法
2021-07-31 10:57:39
2175
原创 shell使用&免密登录
shell使用&免密登录需求描述shell脚本免密登录需求描述集群机器众多，每台ssh连接后再启动服务较为繁琐，所以想在一台机器上执行shell脚本来对其他机器上的服务启动。1.第一步，需要所有的机器先设置免密登录2.第二步，在其中一台机器A上设置对其他所有机器的免密ssh连接3.第三步，在其中一台机器A上执行shell脚本shell脚本编写的脚本在放到服务器系统上运行时，需要先修改文件的执行权限：chmod 755 host_allow.sh参考链接：https://www
2021-07-26 15:48:24
1885
原创 VMWare ESXI6.7创建虚拟机&配置ssh&root用户登录权限
VMWare ESXI6.7创建虚拟机&配置ssh&root用户登录权限VMware ESXi安装教程链接创建虚拟机步骤登录ESXI创建虚拟机安装Ubuntu系统安装ssh开启远程连接root用户权限VMware ESXiVMware ESXi：专门构建的裸机 管理程序了解可直接安装到您的物理服务器的、可靠的裸机 Hypervisor。安装教程链接https://blog.csdn.net/Taylor_Ocean/article/details/117395868?spm=10
2021-07-20 10:43:26
4611
2
原创 物理机软件虚拟化-记录服务器安装win10使用VM软件虚拟
物理机软件虚拟化-记录服务器安装win10使用VM软件虚拟u盘制作win10安装镜像win10系统下载UltralSO软件将win10.iso写入u盘物理机安装win10系统物理机存储类型gpt转为mbr远程连接win10&MobaXterm连接win10系统开启ssh远程连接MobaXterm连接u盘制作win10安装镜像win10系统下载https://msdn.itellyou.cn/UltralSO软件将win10.iso写入u盘https://jingyan.baidu.com/
2021-07-17 15:22:09
520
原创 MQ之ZeroMQ、JZMQ、Kafka简介
MQ之ZeroMQ、JZMQ、Kafka简介MQ消息队列ZeroMQ（又名ØMQ，MQ，或zmq）JZMQZeroMQ简介优缺点SocketTCP/IP协议族简介支持的通信模式MQ消息队列参考链接：https://blog.csdn.net/zhoujiyu123/article/details/84843068?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7
2021-07-02 16:36:33
1604
1
原创 【已解决】zookeeper配置出现问题合集
【已解决】zookeeper配置出现问题合集1.问题诊断-日志2.问题解决合集2.1zookeeper集群搭建报错“拒绝连接”2.2zookeeper集群搭建报错“没有找到主机路由”1.问题诊断-日志1.进入文件查看日志：zookeeper.out文件，在zoo.cfg文件指定的日志目录下。（如果没有，那可能是文件的权限不够，无法将日志文件写入到该文件中，日志文件会在上级目录甚至上上级目录里）2.命令直接在命令行中查看报错内容：启动zookeeper时输出日志的启动方法：zkServer.sh s
2021-06-23 15:12:16
1208
原创 物理裸机虚拟化装机教程-记录ESXI6.7制作u盘启动盘和安装过程以及问题
物理裸机装机教程区分宿主虚拟化和裸机虚拟化裸机虚拟化ESXI6.7制作启动盘ESXI6.7.iso下载制作过程区分宿主虚拟化和裸机虚拟化参考：https://liushiya.blog.csdn.net/article/details/108097846裸机虚拟化裸机虚拟化这个不需要操作系统, 虚拟管理程序本身就是一个操作系统，例如：VMware ESXI 、Proxmox VE、Microsoft Hyper-V， 裸机虚拟化的性能是要优于宿主虚拟化的ESXI6.7制作启动盘ESXI6.7.
2021-06-02 10:10:22
4752
1
storm-core-1.1.2.jar
2020-11-17
loadbalancer-master.zip
2020-03-09
spring搭建环境所需要的jar包
2018-12-11
mysql5.5的 64位 和32位的安装工具 和开发工具sqlyog
2018-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人