![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 80
爱技术的小马哥
一个热爱探索新技术的boy,对前端、后端、服务器、大数据技术都有涉猎,希望能在分享博客的过程中收获更多知识。
展开
-
Kubernetes 1.25.2 安装步骤
安装k8s 1.25.2,需要手动安装cri-dockerd原创 2022-10-25 19:15:19 · 1413 阅读 · 1 评论 -
Flink 1.14.2 CEP 没有输出
背景最近几天把Flink项目的版本从1.12升级到了最新的1.14.2,然后发现项目里的CEP事件都没有输出了,即使将Stream打印到控制台,也是啥也没有。问题原因Flink在1.12版本之后,PatternStream默认使用Event Time。如果业务使用的事Processing Time,必须要明确配置。解决办法样例代码,下面的代码是不会有任何输出的。package spendreport;import org.apache.flink.cep.CEP;import原创 2022-01-07 21:14:58 · 2210 阅读 · 6 评论 -
使用OpenCV 破解QQ登录中的滑动验证码
系列文章目录<font color=#999AAA >第一篇:[Java实现QQ登录](https://blog.csdn.net/majixiang1996/article/details/112651478)<font color=#999AAA >第二篇:[Selenium QQ自动化登录](https://blog.csdn.net/majixiang1996/article/details/112955294)文章目录系列文章目录文章目录..原创 2021-03-24 01:48:11 · 2682 阅读 · 3 评论 -
大数据管理平台(一)概述
系列文章目录文章目录系列文章目录前言一、功能概述二、使用步骤2.1 安装2.2 监控2.3 管理2.4 用户管理2.5 应用市场2.6 操作系统三、总结前言做大数据有几年了,这些年耳濡目染了一些大数据管理平台的使用,但是或多或少使用起来,都不怎么方便,所以决定自己来实现一个简单的大数据平台一、功能概述大数据应用组件往往很多,可能几百台服务器组成一个Hadoop集群,当部署这些节点时,需要一个节点一个节点的操作,简直不敢想象。同时在这些服务器上可能还部署着Spark、Flink、Hive原创 2021-03-05 01:08:44 · 4119 阅读 · 0 评论 -
对英雄联盟比赛预测(四)- 数据清洗
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结前言本文主要对前文获取的数据,做清洗,去除脏数据,并格式化。文章三中最新代码:https://github.com/majixiang/riotgam..原创 2021-03-05 00:59:45 · 1090 阅读 · 2 评论 -
Selenium QQ自动化登录
系列文章目录第一篇:Java实现QQ登录文章目录系列文章目录前言登录selenium登录登录流程selenium操作获取登录数据总结前言本文内容仅供学习参考,禁止商业用途上篇文章中主要介绍如何利用java,通过模拟http的形式登录QQ,但是这种方式会因为tx更新密码加密算法而失效,所以本篇文章中会介绍如何通过Selenium来实现QQ的自动化登录经过本人分析,因为浏览器在发送login之后,response body中并没有返回,而是将一系列登录信息都存放在cookie里了,那么就带原创 2021-01-21 17:41:55 · 1973 阅读 · 1 评论 -
对英雄联盟比赛预测(三)- 数据获取Java实现
系列文章目录对英雄联盟比赛预测(一)- 特征分析对英雄联盟比赛预测(二)- 数据获取api分析文章目录系列文章目录声明前言一、基本框架二、基本配置1. maven依赖配置2. properties配置三、模块详解1. client2. config3. entity4. pipeline5. scheduler6. service总结重启会造成资源浪费速度慢apikey有效期数据不全声明本文所提到的爬虫方法仅供学习研究使用,不得用于商业用途前言前面几篇文章,主要讲述lol比赛的影响因素原创 2021-01-17 23:11:48 · 1300 阅读 · 0 评论 -
对英雄联盟比赛预测(二)- 数据获取api分析
文章目录声明前言一、数据源分析?二、使用步骤1.申请拳头开发者2.分析api数据入口查找比赛分析返回体分析json最外层分析两队情况首先是蓝色方接着是红色方分析双方的比赛玩家首先分析蓝色方的玩家红色方时间线分析玩家的关联分析总结声明本文中所涉及到的所有数据及使用方法仅供学习使用,不得用于商业用途前言上篇文章对英雄联盟比赛预测(一)- 特征分析对比赛的数据类型进行了分析,接下来,我们就要开始获取各个比赛的具体数据。提示:以下是本篇文章正文内容,下面案例可供参考一、数据源分析?目前已知可以原创 2021-01-09 18:34:25 · 4261 阅读 · 17 评论 -
对英雄联盟比赛预测(一)- 特征分析
说起来自己也是个LOL老玩家了,S4玩到S10,唉技术还是一如既往的菜。前段时间一直在忙其他事情,最近终于稍微有点时间了,突发奇想,想做一个比赛预测的模型,这个预测模型必须能跟随比赛进程实时同步,即在比赛进程前,进行中都可以做预测。我们先来分析下影响比赛有哪些因素我们知道影响比赛进程的因素有很多,首先我们排除一些非比赛性因素:网络延迟超大/电脑太卡恶意送人头/消极比赛被老婆抓走地震/海啸/泥石流等那么接下来就是一些非常重要的决定性因素:下面说的内在/外在因素是针对某场比赛的外在因原创 2021-01-02 00:57:29 · 2261 阅读 · 0 评论 -
使用nginx对集群模式的minio做负载均衡
前言上篇文章:kubenetes集群模式部署minio 中讲述了如何在kubenetes集群中部署minio,但是遗留问题是未使用service,导致minio集群缺少负载均衡效应,本文将讲述如何通过nginx为minio做负载均衡。部署nginx关于nginx的部署,就不多说了,参考本人文章:记一次Kubenetes部署Nginx的全过程需要注意的一点是:当前集群版本是1.18.1,故...原创 2020-04-18 17:04:51 · 6067 阅读 · 0 评论 -
kubenetes集群模式部署minio
环境准备一个部署完整的k8s集群,版本1.18.1系统版本:CentOS7.2docker版本:1.13.1172.22.21.77 dev-learn-77 master172.22.21.78 dev-learn-78 slave172.22.21.79 dev-learn-79 slave[root@dev-learn-77 ~]# kubectl get node -o wi...原创 2020-04-18 16:04:55 · 4407 阅读 · 7 评论 -
为kubenetes集群,创建dashboard
上篇文章中介绍了如何安装kubenetes v1.18.1部署Kubernetes集群 - v1.18.1现给它安装个dashboard。准备yaml文件https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc7/aio/deploy/recommended.yaml将其中dashboard-service修改成如...原创 2020-04-13 17:33:47 · 1412 阅读 · 0 评论 -
部署Kubernetes集群 - v1.18.1
链接:https://pan.baidu.com/s/1d9QuB8sm9qme73Rrm551Pw 提取码:rozu原创 2020-04-13 16:16:55 · 3352 阅读 · 0 评论 -
记一次Kubenetes部署Nginx的全过程
环境准备一台或多台已经安装好kubenetes的机器。编写deployment本次部署使用机器的本机网络,同时将本机的路径映射到container里apiVersion: extensions/v1beta1kind: Deploymentmetadata: name: nginxspec: replicas: 1 nodeSelector: nginx-se...原创 2020-04-09 19:48:07 · 572 阅读 · 0 评论 -
Spark学习之路-2 Spark分布式部署
准备工作:四台配置好jdk,hadoop环境的虚拟机,配置方法请参见本人其他博客。hadoop01:192.168.157.101hadoop02:192.168.157.102hadoop03:192.168.157.103hadoop04:192.168.157.104 jdk版本为1.8.0_161hadoop版本为2.7.5下载spark版本:spark-2...原创 2018-08-06 11:44:18 · 151 阅读 · 0 评论 -
Spark学习之路-1
因工作需要开始学习Spark计算引擎,本系列文章中使用scala语言编写spark程序,在实际开发中可以使用Java,Python或者R语言编写。1、RDD 弹性分布式数据集RDD有三种运算:转换(会产生另外一个RDD)、动作(不会产生另外一个RDD)、持久化(对于会重复使用的RDD,可以将RDD持久化在内存中作为后续使用,以提高执行性能) 1>、创建intRDD:val...原创 2018-08-06 11:42:02 · 190 阅读 · 0 评论 -
Hadoop全分布式部署
1、安装VMWare(略)2、安装Ubuntu(略)3、配置静态IP3.1设置虚拟机上网模式为NAT将多余的VMnet0、1删除子网IP为想设置的IP段,如:192.168.157.0子网掩码设置为:255.255.255.0取消勾选"使用本地DHCP服务将IP地址分配给虚拟机"3.2进入Ubuntu系统中配置网络(1)修改文件/etc/network/in...原创 2018-08-06 11:38:33 · 248 阅读 · 0 评论