大数据
文章平均质量分 75
一朝英雄拔剑起
又是苍生十年劫
展开
-
手把手教你实现一个RPC框架
文章目录0 前言1 总体介绍2 common模块2.1 ReflectionUtils.java3 codec模块3.1 序列化接口Encoder.java3.2 json序列化实现JSONEncoder.java3.3 反序列化接口Decoder.java3.4 反序列化实现JSONDecoder.java4 proto模块4.1 Peer.java4.2 Request.java4.3 ServiceDescriptor类4.4 Response.java类5 transport网络模块5.1 Tran原创 2021-03-04 22:30:38 · 5105 阅读 · 7 评论 -
Flink 与 RabbitMQ 通信 打印到控制台
最近在做flink相关的项目,其中一个是需要与rabbitmq进行通信,在参考了官网后,完成了这个功能,在这里记录一下。期间也遇到了一些坑,会特别说明:1 官网资料先放出官网关于rabbitmql连接器的说明:https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/streaming/connectors/rabbitmq.html2 Maven 依赖<dependency> <grou.原创 2021-01-01 19:42:46 · 1328 阅读 · 0 评论 -
【已解决】Error: unknown flag: --export
k8s 中,执行 kubectl get deploy nginx -o=yaml --export > m2.yaml报错原因是 --export在所使用的版本中已经被去除了,将--export删除即可,改成:kubectl get deploy nginx -o=yaml > m2.yaml原创 2020-12-05 16:08:39 · 7397 阅读 · 1 评论 -
【已解决】k8s controller-manager scheduler Unhealthy
在ubuntu上使用kubeadm安装好k8s后,使用kubectl get cs 查看状态,发现controller-manager scheduler Unhealthy解决方案修改以下配置文件/etc/kubernetes/manifests/kube-controller-manager.yaml/etc/kubernetes/manifests/kube-scheduler.yaml将两个文件中的- --port=0这一行注释掉这样就可以了,等一会在执行.原创 2020-12-05 15:21:01 · 3345 阅读 · 1 评论 -
The connection to the server 10.10.0.2:6443 was refused - did you specify the right host or port?
当重启k8s的master后,我遇到了不可想象的神秘错误:The connection to the server 10.10.0.2:6443 was refused - did you specify the right host or port?方案1去百度了一下,绝大多数的解决方案是:swapoff -avim /etc/fstab# 然后注释掉有 swaq 的那一行# 再重启reboot这样做是因为k8s需要关闭swap我照做了,但是没有效果方案2后来原创 2020-12-03 18:46:18 · 10868 阅读 · 0 评论 -
多元线性回归之矩阵求导推导与python实现
多元线性回归表达式其中,X=[1,x1,⋯ ,xn]X=[1,x_1,\cdots,x_n]X=[1,x1,⋯,xn]W=[w0,w1,⋯ ,wn]W=[w_0,w_1,\cdots,w_n]W=[w0,w1,⋯,wn]损失函数其中X,YX,YX,Y是矩阵。梯度下降令H=Y−XWTH=Y-XW^TH=Y−XWTL=HTHL=H^THL=HTH这里涉及到了矩阵求导的知识,具体请查看矩阵求导代码实现import numpy as npimport matpl原创 2020-11-11 20:27:30 · 2271 阅读 · 1 评论 -
3分钟带你掌握一元线性回归
一元线性回归模型:y=hθ(x)=θ0+θ1xy=h_\theta(x)=\theta _0 +\theta _1 xy=hθ(x)=θ0+θ1x输入只包含一个单独的特征。对于样本(x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i)),模型预测值为:y^(i)=θ0+θ1x(i){\hat y}^{(i)}=\theta _0 +\theta _1 x^{(i)}y^(i)=θ0+θ1x(i)误差/残差:样本真实值与预测值之差e(i)=y(i.原创 2020-11-10 17:30:10 · 483 阅读 · 2 评论 -
【必读】3分钟带你了解流式数据架构基本概念
1 流流(streaming)是一种为无界数据集设计的数据处理引擎,这种引擎具备以下特征:具备强一致性,即支持exactly-once语义。提供丰富的时间工具,如事件时间、处理时间、窗口等。保证系统具有可弹性、伸缩性。同时保证高吞吐、低延迟与容错。支持高级语义,如流式关系型API(SQL)、复杂事件处理(CEP)2 时间在无界数据处理中,主要有两类时间概念:事件时间(Event Time):事件实际发生的时间。处理时间(Processing Time):事件被处理的时间。在现实原创 2020-11-05 17:15:05 · 2006 阅读 · 2 评论 -
Spark RDD深度解析
1 RDD是什么RDD, 全称为 Resilient Distributed Datasets, 是一个容错的, 并行的数据结构, 可以让用户显式地将数据存储到磁盘和内存中, 并能控制数据的分区。同时, RDD 还提供了一组丰富的操作来操作这些数据。 在这些操作中, 诸如 map,flatMap,filter 等转换操作实现了 Monad 模式, 很好地契合了 Scala 的集合操作. 除此之外, RDD 还提供了诸如 join, groupBy, reduceByKey 等更为方便的操作, 以支持常见的原创 2020-11-01 22:32:23 · 397 阅读 · 0 评论 -
scala解移除元素
object Solution { def removeElement(nums: Array[Int], val0: Int): Int = { var cur=0 var p=0 for(i<-0.to(nums.size-1)){ if(nums(i)==val0){ }else{ nums(cur)=nums(i) .原创 2020-10-29 15:28:30 · 250 阅读 · 0 评论 -
scala双指针法解删除排序数组中的重复项
题目描述给定一个排序数组,你需要在 原地 删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度。不要使用额外的数组空间,你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。 你不需要考虑数组中超出新长度后面的元素。示例 2:给定 nums = [0,0,1,1,1,2,2,3,3,4],函数应该返回新的长度 5, 并原创 2020-10-28 16:00:09 · 275 阅读 · 0 评论 -
scala解两数之和问题
题目:给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]代码:import scala.collection.mutable.Mapobject Solution { d原创 2020-10-28 01:34:20 · 555 阅读 · 0 评论 -
scala类与对象
类和对象scala是支持面向对象的,也有类和对象的概念。我们依然可以基于scala语言来开发面向对象的应用程序。创建类和对象用法使用class来定义一个类使用new来创建对象示例创建一个Person类,并创建它的对象步骤创建一个scala项目,并创建一个Object添加main方法创建类和对象实现在IDEA中创建项目,并创建一个Object(main方法必须放在Object中)添加main方法创建一个Person类在main方法中创建Person类对象参考代码原创 2020-10-27 21:29:43 · 608 阅读 · 0 评论 -
scala语法基础[详细]
scala简介scala是运行在JVM上的多范式编程语言,同时支持面向对象和面向函数编程scala主要优势是表达性scala兼容java为什么使用scala开发大数据应用程序(spark程序、Flink程序)表达能力强,一行代码抵得上Java多行,开发速度快兼容Java,可以访问庞大的Java类库,例如:操作mysql、redis、freemarker、activemq等等scala对比java案例一定义三个实体类(用户、订单、商品)Java代码/** * 用户实体类 */原创 2020-10-27 21:25:01 · 2303 阅读 · 0 评论 -
ssh免密登录(详细)
在分布式系统中,经常需要各台主机之间相互配合工作。如hadoop启动的时候,各台主机之间必须配置ssh免密登录1 ssh安装ubuntusudo apt-get install openssh-server openssh-clientcentos7yum install -y openssh-server openssh-clients2 配置ssh在原来的配置文件基础上:打开root用户登录选项,开启密码验证。vim /etc/ssh/sshd_config配置完成,可以.原创 2020-10-24 18:13:40 · 3490 阅读 · 0 评论 -
zookeeper安装部署
概述Zookeeper本质上是一个分布式文件系统。适合存放小文件,也可以理解为一个数据库Zookeeper是一个集群,将集群的文件组织起来,对外提供一个统一的访问路径。应用场景数据发布/订阅命名服务分布式协调/通知分布式锁分布式队列准备三台主机(多余三台自行扩展),分别为 node01 node02 node03三台主机安装jdk8,且正确配置环境变量常用软件,如vim,ssh,net-tools等三台主机能相互通信,2888和3888端口未被占用三台主机域名解析配置,方便原创 2020-10-19 21:41:53 · 127 阅读 · 1 评论 -
docker创建centos7镜像
docker pull centos:centos7想要拉取其他版本的镜像,参考网址:https://hub.docker.com/_/centos?tab=tags&page=1原创 2020-10-17 16:46:19 · 257 阅读 · 0 评论 -
解决setlocale: LC_ALL: cannot change locale (zh_CN.UTF-8)
描述由于语言的一些问题,ubuntu的bash会报warning: setlocale: LC_ALL: cannot change locale (zh_CN.UTF-8),这在我安装impala时,导致了启动失败解决vim /etc/profile在最后一行加上export LC_ALL=C;unset LANGUAGE然后使它生效source /etc/profile即可...原创 2020-09-30 18:16:05 · 24759 阅读 · 0 评论 -
解决hadoop提交任务后一直是ACCEPTED状态的问题
如果你在安装部署好hadoop之后,提交一个测试例子,但是一直处于ACCPTED状态,不运行,可能原因有以下几种:1 集群资源不可用节点不可用访问hadoop的web界面,端口是8088,看一下active node ,unhealth node情况,如果active node为0,集群节点都是unhealth node的话,就是你的节点资源不可用,可能是节点机器内存爆掉了(90%),清理一下,或者扩容即可节点访问失败这个错误很隐蔽,具体原因就是和节点通信不上,也许你在workers文件中配置了i原创 2020-09-28 22:06:18 · 2917 阅读 · 0 评论 -
ubuntu1604和ubuntu2004安装RabbitMQ绝对靠谱
0 前言这次在ubuntu2004上安装RabbitMQ遇到了一些让人无奈的问题,安装erlang的时候,遇到了依赖问题,任我怎样在baidu,google上搜索,都解决不了.最来老老实实去rabbitmq的官网跟着官网示例一步一步走,才安装成功.1 安装步骤1 安装erlang2 安装RabbitMQ2 安装erlang安装erlang的时候,请务必使用apt方法进行安装,不要下载.deb文件进行安装,因为有很多依赖问题,.deb包无法完成这些依赖的安装.ps,真的勇士请一意孤行1原创 2020-09-26 16:13:06 · 304 阅读 · 0 评论 -
10分钟教你如何在win10上操作win10上的虚拟机中的docker容器,保证学会
1 背景介绍小秦同学这几天,在进行分布式系统的学习,难免需要搭建各种集群。但是,小秦同学非常穷,小秦同学的导师也非常地穷,没有一个分布式集群来学习。所以只能靠虚拟机,docker之类的才能勉强进行学习这样子。小秦同学先在自己win10电脑上,安装了一个vm虚拟机,在虚拟机上运行了一个ubuntu1604,然后在ubuntu1604上安装docker,在docker上拉了一个ubuntu镜像,生成了三个ubuntu容器。示意图如下:我想要在win10上使用IDEA写代码,直接操作我的分布式集群。2原创 2020-09-13 11:39:20 · 2986 阅读 · 0 评论