- 博客(26)
- 收藏
- 关注
RSS订阅原创 Storm+Kafka+Redis+zookeeper docker集群实战问题与解决
问题描述：使用echarts构建地图的时候，由于初次持用到该组建，对其语法不熟悉，正常情况下geo和series应该是同级，但是却把series，写进了geo里。
2023-12-15 16:35:28
410
原创 股票交易信息实时大屏（Kafka+storm+Redis+DataV）
股票大数据统计展屏（基于docker搭建的storm、zookeeper、kafka集群实现）
2023-12-15 16:35:12
825
原创 Storm+Kafka+Zookeeper本地集群实现百万股票数据统计
目前下面的代码在本地集群测试环境中完成了测试，但是还未提交到docker集群中实际运行，这将会在完成大作业时更新。
2023-11-20 17:11:05
180
原创 Docker-compose部署zookeeper+storm集群【保成，秒回】
storm集群的搭建必须依赖于zookeeper，所以搭建storm前需要将zookeeper集群搭建成功，上面提供的链接详细介绍了使用dokcer-compose搭建zookeeper集群的过程，下面将展示使用docker-compose搭建storm集群，事实上可以使用一个文件配置三个nimbus、supervisor，但是我是先搭建好了一个nimbus与一个supervisor，然后再搭建的剩余的两个nimbus、supervisor。出现下面的页面表示storm集群搭建成功。
2023-11-20 16:26:34
356
1
原创 VUE3+javaCV实现长时间录制视频
1、传统html提供了对video组件的媒体流captureStream方法，vue3使用的ts所适配的HTMLELEMNT中的还没有提供直接对video组件提取媒体流的方法。2、将video重绘到canvas，HTMLELEMENT提供了对canvas的媒体流获取的方法，但是只适用于短时间录制。1、使用HTMLVideoElement的caputure捕捉video组件中正在播放的视频流。弊端：将video绘制到canvas，然后捕捉canvas的媒体流，适用于秒级的录制。
2023-11-11 23:32:48
389
原创 VUE3+TS+VITE+webrtc-streamer实现实时视频播放（监控设备-rtsp，进来保你成）
DOCTYPE "... is not valid JSON关键句查询很久，发现得到的答案与我的情况并不相符，然后觉得可能是编码出错了，后来仔细看代码，确实是下图中的代码出错了，没有指明请求的协议以及ip地址前面没加 `//`推流后如果显示不出来，可以尝试在mediamtx或者webrtc两个控制台使用ctrl+c去结束可能的组设的进程，正常情况下，webrtc中会打印非常多no frame，但此时是能够播放的。因为目前没有在项目现场，无法接入摄像头，所以我是使用。启动一个流媒体服务器，使用。
2023-11-10 15:57:54
8436
49
原创 【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案】
首先对kafka进行配置，关于kafka消费者与生产者的配置还有很多，目前就配置了每次最多能够读取的消息数量。创建两个map数据结构来记录不同stock_name的trade_volume和每个stock_name的成交数量。我们首先创建一个名为stock_1的topic，而后对生产者进行配置。为了读取csv文件，使用的哦阿了apache 的csv库函数，将stock_name作为key，trade_value作为alue作为消息进行发送。4、 查看docker中运行的容器。
2023-11-01 19:54:05
748
1
原创 Hbse-2.1.0+Hadoop-2.7.7 搭建伪分布式集群
假设你刚刚完成Hbase的测试, Hbase 正在运行, 那么请停止他.这个过程将创建一个全新的目录，HBase 将存储它的数据，所以你之前创建的任何数据库都将丢失。该教程的前提是hadoop分布式集群已经搭建成功，如果还未搭建成功hadoop分布式集群可以前往下方的链接进行学习。在上面的配置中，它存储在 HDFS 上的。上面的value中的值一定要和hadoop的core-site.xml中的地址相同。从本地文件系统更改为您的 HDFS 实例的地址，使用 hdfs:////命令的方式停止 HBase。
2023-10-30 09:45:23
90
原创 SSM 后端开发（mybatis）
前端发来的数据是以`head_url`的形式而后端user对象的属性是`headUrl`，使用JsonProperty来告诉Jackson序列化库在将对象转换为JSON时，使用`head_url`;上面的例子时一个插入sql，user后面的括号中需要使用head_url来匹配user实体中的注解，而#{headUrl}则对应的是user实体中的get/set headUrl方法。对实体进行建表的时候，对于实体的属性常常不会使用 ‘_’ 符号来命名，多采用小驼峰的方式。
2023-10-27 23:16:04
575
1
原创 Hadoop JAVA API
在实际应用中，常常会存在大量客户端访问服务端的情况，如果每有一个客户端请求就创建一个线程，不仅会造成系统资源的消耗，还极易造成系统的不稳定。上图中我们新创建一个testLimit目录， 默认情况下，新创建目录会赋权为755，对于新创建的文件则会赋权为644，可以看到该目录的所有者是master用户，并且属于supergroup。新创建一个用户dell，尝试对hdfs文件系统进行创建目录操作，可以看到我们被拒绝了，为了解决这个问题，考虑将dell用户加入到supergroup组中。# 切换到dell用户。
2023-10-27 19:48:33
60
1
原创 VUE3前端与SpringBOOT后端跨域解决
这种方式成功地实现了登录功能，但是当我想要退出登录的时候发现一直出现跨域问题，因为源地址为http://localhost:8848而目标地址为http://localhost:8080出现了端口跨域，所以不进行跨域配置便无法成功响应。（bug修复了，复原不回去了，就不贴图了），这段代码的意思，是将最终请求地址中的源地址去掉，比如配置的时候源地址为/api，代理地址为http://localhost:8080，那么如果不将/api去掉，在最终的请求地址中就会多一个/api，就无法正确地发送请求。
2023-10-21 22:13:32
257
1
原创 SSM 后端开发（Swagger）
swagger：用于生成、描述、调用和可视化RESTful风格的Web服务。直白地说就是将项目中需要的接口暴露出去。主要对swagger的Tag、Operation以及Schema进行配置。通过Spring Initializr创建spring boot项目。
2023-10-21 16:32:27
178
1
原创 window10 安装Redis
出现PONG便表示本地Redis配置成功，接下来我们便可以将Redis用作数据库、缓存和消息中间件，并在性能、可扩展性和灵活性方面表现出色。4.通过使用Redis提供的客户端连接Redis服务，测试Redis服务是否启动成功。3.在Redis解压路径下执行cmd打开终端，并且运行Redis服务。运行成功，端口默认为6379。
2023-10-21 12:13:33
283
1
原创 SSM 后端开发纪要
但是学时很短，仅仅是对老师的笔记中的简单示例进行了测试，对后端中Dao层、Service层、Controller层的理解不够深刻，这次通过实际项目对之前所学的后端知识进行巩固与提高，下面是对后端各个框架的基础的复习，可能有不太恰当的地方，如果某些内容与你的问题相符，但刚好我没说清楚，请留言，我将尽力为你解决，共同学习。尝试传统实现一个简单功能的方式，在Dao层创建一个功能实现的接口，再创建一个该接口的实现类，而后在Service层创建一个接口并创建它的实现类。猜测使用该设置后idea会自动寻找主机的代理。
2023-10-20 22:15:20
87
1
原创 Hadoop分布式文件系统操作(FsDataInputStream和FsDataOutputStream)
上一篇文章使用IDEA成功连接上了HAdoop集群，本章将使用Configuration、FileSystem、Path、FSDataInputStream、FSDataOutputStream对HDFS（分布式文件系统）进行读写操作。
2023-10-15 09:36:55
655
1
原创 Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）
至此idea连接Hadoop集群配置完成，更多的操作可以通过Hadoop提供configuration类filesystem类、FSDataInputStream类和FSDataOutputStream类实现。有问题的朋友可以留言，我会及时回复我所能解决的问题，一些我安装时遇到的问题放在后面，大家可以浏览查看。
2023-10-14 20:33:49
3521
17
原创 一个简单的加密Web（vue 3 + Flask）（SM4、RSA、DES等五种加密算法）
学校开了一门密码学的课程，唯一比较感兴趣的是老师关于比特币的一些介绍，旷工、矿池、攻击，以及挖矿的原理，听起来真是不亦乐乎。快要结课了来了一个作业，让我们用Python是实现五种常用的加密方式，有对称加密如DES、SM4，也有非对称加密如RSA。要求就是简单实现，供用户使用的web前端是扩展，但是想着这个作业占20分的期末总分，还是卷一卷吧。于是想到之前用uni-app与flask搭建的智能监控，前端提供用户可以交互的界面，后端通过FLask设置的路由执行相应的操作，这个项目当然也可以按这个思路来。
2023-10-13 16:37:50
994
1
原创 使用uni-app开发一个简易的app
不管是app还是web网页，呈现给用户的都是一个个网页，下面我们从一个实例页面进行介绍。这张页面主要实现一个显示监控画面以及绘制可疑区域的功能。一般来说新建一个vue文件，大概结构如下，在template中主要放置一些组件，如按钮、滑动框、网格图。在script中则使用js语言实现变量的定义、函数的定义等。在style中则对组件的样式进行修饰，让页面变得好看。-- 显示监控画面 -->
2023-09-15 21:24:46
648
1
原创 使用flask搭建web服务，计算机视觉任务落地
前一篇文章对如何将树莓派配置为一个远程监控进行了回顾，并且在文章中留下了两个问题，此篇文章对应——如何搭建一个中转站，将相关的任务分发下去。在搭建服务前，查看了相关的资料，基于python语言开发的后端框架，主要有Django、Flask、Tornado，这三个框架各有特点。Django是一个大而全的web服务框架，其拥有自动化后台管理的功能，使用ORM(对象关系映射)，简单定义对象，便能自动生成数据库结构。Flask是一个轻量级的web服务框架，对初学者比较友好，在使用的时候比较核心的就是一个路由思想。
2023-09-15 15:22:11
89
1
原创 树莓派4B+Mediamtx推RTSP流实现远程监控（云服务器版）
最近在进行一个计算机视觉应用项目，需要用到树莓派集成摄像头对视频数据进行采集，使用ffmepg将视频数据推流到RTMP、RTSP服务器。推流至服务器的视频数据可以在PotPlayer、VLC等媒体播放器中，通过服务器ip加端口号拉流播放。此外，使用Python中的Opencv库同样可以实现拉流播放。
2023-09-15 12:28:20
1438
3
原创 斯坦福计算机视觉公开课个人笔记——卷积神经网络
通常卷积核的大小会用来控制卷积后输出的尺寸，通过下图可以看出，一个7X7的图像经过3X3的卷积核，输出为5X5。提到卷积神经网络，首先需要介绍卷积的原理。下面详细介绍一下卷积核，我们使用一个5X5X3的卷积核在图像上从左至右，从上到下滑动，（图3）这5X5X3的卷积核实际上就是存放权重，在滑动的过程中会不断更新权重，生成某些物体或某些部位的模板，最后通过一个全连接层输出对于各类别的得分。这些卷积核会不断地变多以学习到更多地特征，（图5）形成更准确地模板，前期地卷积核会学习到一些低级特征，比如边缘。
2023-07-13 22:27:25
117
2
原创 斯坦福计算机视觉公开课个人笔记——神经网络
而神经网络中的神经元如图1（右）所示，在cell body中对传入的加权值求和（sum），当sum大于某个值的时候便发出信号，然后关注发射信号的时间不必要的，仅仅需要关注信息交互的频率，因此使用一个激活函数来对神经元发电频率建模。X为输入，W1为模板 （图3），将X与W1相乘得到h，h为该输入在各个模板的得分。举个例子，输入可能由红色的车，白色的车，但是W1模板中明显看出来是一个红色的车，而后通过W2加权，可能得到一个模板既包含红色的车又包含白色的车，最后组合起来得到都是车这个分类。
2023-07-09 00:01:15
97
1
原创 斯坦福计算机视觉公开课个人笔记——反向传播
回顾一下，当我们输出一张图片进行分类任务的时候，我们回使用到一个SVM分类器，这个分类器就是一个矩阵，这个矩阵的形状为N*M，N表示我们需要需要区分的类别数，M表示图片拉长后的长度。便引入了损失函数，图片经过分类器后会得出各个类别的得分，我们将其他类别的得分分别与正确类别的得分进行减运算，求和，便得到此次分类的损失，正确区分的损失为零。总之，我们可以通过反向传播得到梯度下降的具体的值，之后便可以对权重进行进行更新，不断循环，直到损失收敛。当W与X为向量的时候，便需要使用到雅可比矩阵的知识（待查），如图4。
2023-07-05 23:59:25
78
原创 斯坦福计算机视觉公开课个人笔记——损失函数与优化
在上一篇文章中，主要介绍了一个线性分类器（图1）。再回顾一下线性分类器的作用，首先从字面意思理解，通过线性二字，可以想到一次函数，我们可以撒上一些点，通过该函数能够将这些点划分到某条线的两侧。再看分类器，那么被线性分类器划分到不同的侧即表示着不同的类。回到上文中小猫图片（后文用image代替）的例子（图2），假如image为2X2，拉长后变为4X1记为x。我们想要进行区别的类为3，那么此时需要一个权重W，该权重为3X4，3则表示需要区分的类别数，4则等于image拉长后的行数。
2023-06-27 22:30:35
119
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人