自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4482)
  • 收藏
  • 关注

转载 ubuntu17升级到18.04

问题描述:  ubuntu不是LTS长期支持的版本在支持期过了,没有apt源提供支持。所以需要升级到对应的LTS版本问题解决:实验环境:ubuntu17.10--->ubuntu18.04.301、查看当前发行版本cat /etc/*release02、执行升级注意:移除低版本的apt源,替换ubuntu18.04的apt源apt upd...

2019-10-06 18:59:00 340

转载 minikube国内在线部署体验

问题描述:快速学习k8s的各个组件的作用及yml的编写,minikube很适合。how to installMinikube, a tool that runs a single-node Kubernetes cluster in a virtual machine on your personal computer参考文档:https://kubernetes.i...

2019-10-02 11:34:00 590

转载 ubuntu16.04重置root密码

问题描述:  一个用户不能G附加多个用户组,在centos没有问题的。具体的还不清楚问题解决:  重启进入启动项修改启动参数进入root中设置密码参考:https://www.cnblogs.com/xiaojianliu/p/8520313.html01、重启系统在boot引导中选定 "Advanced optioons for ubuntu"02、...

2019-10-01 15:09:00 380

转载 Hbase入门(三)——数据模型

Hbase最核心但也是最难理解的就是数据模型,由于与传统的关系型数据库不同,虽然Hbase也有表(Table),也有行(Row)和列(Column),但是与关系型数据库不同的是Hbase有一个列族(Column Family)的概念,它将一列或者多列组织在一起,HBase必须属于某一个列族。行和列交叉点称为单元格(Cell),单元格时版本化的。单元格的内容,也就是列的值是不可分割的字...

2019-09-30 09:39:00 96

转载 Hbase入门(二)——安装与配置

本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。并介绍Hbase的配置文件。在安装前需要将所有先决条件安装完成。一、先决条件1、JDK和Hadoop一样,Hbase需要JDK1.6或者更高的版本,所以请安装好JDK并配置环境变量。Hbase版本与JDK版本HBase VersionJDK 7JDK 8JDK 9 (Non-...

2019-09-29 11:00:00 178

转载 rancheros在vm主机部署

问题描述:  容器化,越来越重要。在云服务中很大比例的服务都跑在容器中,今天介绍rancheros基于容器的os.特点:启动快,比较小系统服务也是基于容器化使用最新的docker release跨架构arm/x86/amdrancheros技术架构Rancheros官方:https://rancher.com/docs/os/v1.x/e...

2019-09-28 22:02:00 613

转载 Learning hard 网络编程

1.1网络分层总览网络上的计算机之所以可以互相通信,是因为它们都遵守着公认的互联网协议,就如同人与人的交流一样,两个人能够交流,就必须知道对方的语言,计算机的网络通信可归结为网络中层与层之间的通信,OSI(Open System Interconnection)模型把网络通信分成7层,物理层,数据链路层,网络层,传输层,会话层,表示层,应用层,为了容易理解,网络应用开发人员一般将...

2019-09-26 09:40:00 84

转载 Hbase入门(一)——初识Hbase

本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。1、大数据与Hbase大数据在近几年发展迅速,而实时计算也是一个重要的发展趋势。不管是企业中的日志数据,还是传...

2019-09-24 09:06:00 38

转载 基于centos7.6离线部署开k3s

K3S简介:https://k3s.io/https://github.com/rancher/k3shttps://github.com/rancher/k3s/releases //版本及images部署环境k3s docker-cecentos7.6docker-ce安装参考:centos7.6在线yum安装dock...

2019-09-21 17:01:00 767

转载 centos7.6在线yum安装docker-ce

概述:  利用阿里的mirrror的docker-ce仓库,在线安装docker-ce部署环境:CentOS Linux release 7.6.1810 (Core)01、添加docker-ce yum源https://mirrors.aliyun.com/docker-ce/https://yq.aliyun.com/articles/110806 /...

2019-09-20 23:56:00 246

转载 Flink1.9整合Kafka

本文基于Flink1.9版本简述如何连接Kafka。流式连接器我们知道可以自己来开发Source 和 Sink ,但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。预定义的source支持从文件、目录、socket,以及 collections 和 iterators 中读取数据。预定义的sink支持把数据写入文件、标准输出(stdout)、标准错误...

2019-09-20 11:53:00 501

转载 centos在线安装ffmpeg

简介:  跨平台解决方案,用于记录,转换和流式传输音频和视频挂载yum源https://rpmfusion.org/ConfigurationRHEL 7 or compatible like CentOS:yum localinstall --nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion...

2019-09-18 21:53:00 158

转载 Flink入门宝典(详细截图版)

本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。这里简述安装过程,并使用IDEA进行开发一个简单流处理程序,本地调试或者提交到Flink上运行,Maven与JDK安装这里不做说明。一、Flink简介Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一...

2019-09-18 10:10:00 223

转载 tar.bz2解压异常

问题描述:[root@mvp-dd ~]# tar jxf ffmpeg-4.0.2.tar.bz2 tar (child): bzip2: Cannot exec: No such file or directory //根据报错提示没有bzip2命令tar (child): Error is not recoverable: exiting nowtar: C...

2019-09-17 20:32:00 133

转载 Kafka常见错误整理(不断更新中)

1、UnknownTopicOrPartitionExceptionorg.apache.kafka.common.errors.UnknownTopicOrPartitionException:This server does not host this topic-partition报错内容:分区数据不在原因分析:producer向不存在的topic发送消息,用户可以检查to...

2019-09-17 09:07:00 1689

转载 Kafka运维命令大全

1、集群管理前台启动brokerbin/kafka-server-start.sh <path>/server.propertiesCtrl + C 关闭后台启动brokerbin/kafka-server-start.sh -daemon <path>/server.properties关闭brokerbin/kafka-server-stop.s...

2019-09-16 09:27:00 91

转载 百度网盘传输速度提高的方法

在这个国人们为华为的5G战果开遍全球的庆贺时代,百度网盘的传输速度竟然只有100kb, 提高的方法很简单---充钱;哈哈哈转载于:https://www.cnblogs.com/dangdanghepingping/p/11514918.html...

2019-09-12 20:08:00 1108

转载 Storm VS Flink ——性能对比

1.背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的 可靠性保证测试),有管理平台、常用 API 和相应的文档,大量实时作业基于 Storm 构建。而 Apache Flink(以下简称“Flink”)在近期...

2019-09-12 09:47:00 154

转载 快速构建第一个Flink工程

本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看:Flink快速入门--安装与示例运行.在安装好Flink以后,只要快速构建Flink工程,并完成相关代码开发,就可以轻松入手Flink。构建工具Flink项目可以使用不同的构建工具进行构建。为了能够快速入门,Flink 为以下构建工具提供了项目模版...

2019-09-10 10:24:00 209

转载 Android设计模式—观察者模式

装载请标明出处:https://www.cnblogs.com/tangZH/p/11175120.html观察者模式说白了,就是一个对发生改变,所有依赖于它的对象也发生改变,这是一对多的关系。比如对象A,对象B,对象C。B与C依赖于A,那么A发生改变,B与C也将发生改变。此时A是被观察者,B与C是观察者。观察者模式又被称作发布/订阅模式,主要是为了让观察者...

2019-09-09 20:37:00 140

转载 Kafka入门宝典(详细截图版)

1、了解 Apache Kafka1.1、简介官网:http://kafka.apache.org/Apache Kafka 是一个开源消息系统,由Scala 写成。是由Apache 软件基金会开发的一个开源消息系统项目。Kafka 最初是由LinkedIn 开发,并于2011 年初开源。2012 年10 月从Apache Incubator 毕业。该项目的目标是为处理实时...

2019-09-09 10:11:00 115

转载 华为云主机配置yum源

问题:  拥有华为主机,配置华为云mirrors,不走公网流量加速体验  系统:    centos7.6解决:01、华为云mirrors https://mirrors.huaweicloud.com/cd /etc/yum.repos.d && rm -rf * //清理已经存在的yum源wget -O /etc/yum.re...

2019-09-06 20:37:00 2462

转载 统一批处理流处理——Flink批流一体实现原理

实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理,那么他是怎么做到批处理的呢?无限流处理:输入数据没有尽头;数据处理从当前或者过去的某一个时间 点开始,持续不停地进行另一种处理形式叫作有限流处理,即从某一个时间点开始处理数据,然后在另一个时间点结束...

2019-09-06 10:34:00 1116

转载 shell 操作钉钉机器人实现告警提醒

我们知道,之前的运维告警多通过mail 等方式通知到相应的人员,难以实现随时随地的查看。随着手机APP的发展,很多告警开始发送到IM软件上去。目前比较常用的是发送到微信和钉钉上,今天我们将重点放在钉钉上。群机器人是钉钉群的高级扩展功能,群机器人可以将第三方服务的信息聚合到群聊中,实现自动化的信息同步。借助钉钉机器人,通过官方提供的API,可以很方便的post数据到相应的接收人 。群机器人...

2019-09-06 00:00:00 1198

转载 Flink,Storm,SparkStreaming性能对比

Yahoo 的 Storm 团队曾发表了一篇博客文章 ,并在其中展示了 Storm、Flink 和 Spark Streaming 的性能测试结果。该测试对于业界而言极 具价值,因为它是流处理领域的第一个基于真实应用程序的基准测试。该应用程序从 Kafka 消费广告曝光消息,从 Redis 查找每个广告对应的广 告宣传活动,并按照广告宣传活动分组,以 10 秒为窗口计算广告浏览量。...

2019-09-05 10:28:00 87

转载 洛谷P4139 上帝与集合的正确用法 欧拉定理

洛谷P4139 上帝与集合的正确用法标签欧拉定理前言我的csdn和博客园是同步的,欢迎来访danzh-博客园~简明题意求\[2^{2^{2...}}\%p\]其中2表示无限次幂。p<=1e7思路无限次幂这里是不是有点不清楚?我们设\(f(p)\)表示2的无限次幂模p的结果.由欧拉定理,我们可以把原式写成:\[2^{f(phi(p))+p}\%p\...

2019-09-04 16:55:00 55

转载 Learning hard 学习笔记

第一章 你真的了解C#吗1.什么是C#,微软公司,面向对象,运行于.NET Framework之上,2.C#能编写哪些应用程序,Windows应用桌面程序,Web应用程序,Web服务,3.什么是.NET Framework,全面的类库,内存管理,通用类型系统,开发结构和技术,语言互操作性,4..NET Framework组成,公共语言运行时(CLR)和类库...

2019-09-04 15:47:00 342

转载 查看linux所有被占用的端口

netstat -tulnp-t(tcp)只显示tcp相关的-u(udp)只显示udp相关的-l(listening)只显示监听服务的端口-n(numeric)不解析名称,能用数字表示的就不用别名(例如:localhost会转成127.0.0.1)-p(programs)显示端口的PID和程序名称可以通过netstat -tulnp | gr...

2019-09-04 14:39:00 1706

转载 最简单流处理引擎——Kafka Streams简介

Kafka在0.10.0.0版本以前的定位是分布式,分区化的,带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm,Spark Streaming,Flink等流式处理框架。Storm,Spark Streaming,Flink流处理的三驾马车各有各的优势.Storm低延迟,并且在市场中占有一定的地位,目前很多公司仍...

2019-09-04 11:14:00 233

转载 超越Storm,SparkStreaming——Flink如何实现有状态的计算

流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件,Storm就是无状态的计算框架,每一条消息来了以后和前后都没有关系,一条是一条。比如我们接收电力系统传感器的数据,当电压超过240v就报警,这就是无状态的数据。但是如果我们需要同时判断多个电压,比如三相电路,我们判断三相电都高于某个值,那么就需要将状态保存,计算。因为这三条记录是分别发送过来的。Storm需要自己实现...

2019-09-03 17:47:00 63

转载 2019ICPC 南京网赛 F. Greedy Sequence 难想的暴力

2019ICPC 南京网赛 F. Greedy Sequence标签难想的暴力前言我的csdn和博客园是同步的,欢迎来访danzh-博客园~这题读题好费劲...简明题意读题太费劲了。给定序列a[],现在需要你构造n个序列:\(s_1-s_n\)每个序列\(s_i[1]=i\),然后对于每个s序列,相邻的两个数在a[]序列中的下标差不超过k。现在每个序列需要字典...

2019-09-03 16:26:00 53

转载 2019ICPC 南京网赛 H. Holy Grail 最短路

2019ICPC 南京网赛 H. Holy Grail标签最短路前言我的csdn和博客园是同步的,欢迎来访danzh-博客园~简明题意给定一张有向图,现在有6组询问,每次询问给定边u,v,问使得原图不形成负环的最小边权。思路其实跟负环没什么关系。给定了u,v,直接输出v,u的最短路就可以了(负的)。然后每次输出后,更新一下原图就行。由于存在负边权,所以应该用...

2019-09-03 16:05:00 56

转载 8月26日笔记 下

一、js用来作什么1、行为交互2、数据交互3、逻辑交互二、js的引用三种方式:1、行间js <div onclick="alert("我爱js")"></div>2、内部js <script>//这里放置js代码</sctript>3、外部js <script src="main.js"></script>三...

2019-09-03 15:05:00 54

转载 8月26日笔记

第一阶段:1、走入js2、玩转属性3、if语句和布尔值4、for和this4、ecma数据类型以及转换6、流程控制7、函数8、定时器和日起对象9、数组和字符串10、排序算法11、动画专题12、第一阶段实战 win7系统日历全实现第一阶段是4周 8月26号开课第二阶段1、ecma62、dom3、bom4、event7、拖放和fileReader8、音频和视频9、第二阶段百度云盘2周...

2019-09-03 14:06:00 57

转载 free -m 内存

查看内存及交换swap分区大小及使用率man freeNAME free - Display amount of free and used memory in the systemSYNOPSIS free [-b | -k | -m] [-o] [-s delay ] [-t] [-l] [-V]DESCRIPTI...

2019-09-02 22:34:00 97

转载 可以穿梭时空的实时计算框架——Flink对时间的处理

Flink对于流处理架构的意义十分重要,Kafka让消息具有了持久化的能力,而处理数据,甚至穿越时间的能力都要靠Flink来完成。在Streaming-大数据的未来一文中我们知道,对于流式处理最重要的两件事,正确性,时间推理工具。而Flink对两者都有非常好的支持。Flink对于正确性的保证对于连续的事件流数据,由于我们处理时可能有事件暂未到达,可能导致数据的正确性受到影响,现在...

2019-09-02 12:35:00 282

转载 ubuntu下安装mysql

sudo apt-get install mysql-server有些人执行完上面的命令后,mysql默认是没有密码的,可以直接mysql -uroot -p,然后让你enter password,回车进入mysql;如果登录不进去,可以先切换成root(sudo su),直接执行mysql命令登录进去。此时mysql只能本机登录,如果需要让其主机连接本mysql,需做以下操...

2019-09-02 10:53:00 50

转载 Ubuntu给apt-get设置代理

编辑文件:/etc/apt/apt.conf在您的apt.conf文件中加入下面这行(根据你的实际情况替换yourproxyaddress和proxyport)。Acquire::http::Proxy"http://yourproxyaddress:proxyport";Acquire::https::proxy"http://yourproxyaddress:proxyport...

2019-09-02 10:11:00 102

转载 Chrome 开发工具之 Application

Chrome 开发者工具有 Application 这么一个面板,主要作用是检查 web 应用加载的所有资源,包括 Manifest、Service Workers、Local Storage、Session Storage、IndexedDB、Web SQL(该标准早已废弃,被 IndexedDB 干趴下)、Cookies、Cache Storage、Application Cac...

2019-09-01 23:38:00 256

转载 ubuntu16.04部署vsftpd

问题描述:  之前在centos6/7可以快速构建vsftpd服务,在ubuntu上频繁出错。最后发现是vsftpd版本比较新(新增安全特性导致的)问题解决:  加上对应参数即可解决问题window资源管理器登录ftpftp://user:pass@ip/xxx/ //账户认证登录ftp://ip/xxxftp://anonymous:@ip/xxx ...

2019-08-31 13:08:00 137

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除