ZhouQiYoung-CSDN博客

原创解决启动HA后kill掉Namenode进程但另一节点仍然是Standby状态

继续踩坑先说一段题外话：配置高可用HDFS的时候针对zookeeper配置hadoop的core-site文件的时候，一些资料是使用的是<property><name>ha.ZooKeeper.quorum</name><value>master:2181,slave:2181,slave2:2181</value></property>配置完成之后死活zookeeper启动不了，查看日志说找不到“ha.zook

2021-01-14 15:58:58 1393

原创 Hadoop启动后WEBUI只显示一个datanode的问题

最近又摸了一下大数据方面的东西，今天在装hadoop的时候突然遇到了一个小问题，记录一下。这里使用的是JDK1.8，hadoop3.1.4。配置完成后初始化handoop并启动，看起来一切正常namenode启动正常secondrynamenode和datanode也启动正常没问题。但是打开webui后只显示了一个datanode节点这里是修改后的正常显示，错误时，只显示了第一个且node为localhosts：127.0.0.1。立刻查阅相关资料发现可能是因为VERSION中datano

2021-01-14 11:27:36 2045 1

原创启动zookeeper成功但无法查看status状态

这两天在研究hadoop，配置环境确实遇到了不少坎，记录一个让我挠破头的问题：启动zookeeper成功但无法查看status状态安装zookeeper，配置完各种文件之后启动集群bin/zkServer.sh start：然后输入jps查看是否启动成功字面上告诉我启动成功了，然后兴致勃勃把剩下两个node一起启动，一切都是那么的和谐。但是当我想查看节点在集群中的状态时却出现了问题。没有启动成功？首先我相到的是是不是配置文件出了问题，立刻检查配置文件，完全看不出哪里不对劲。全网查找解决方

2020-10-07 23:20:06 4314

原创利用OpenCV对视频里的人脸进行检测

利用OpenCV对视频里的人脸进行检测现在对视频里的物体进行检测的方式有很多比如现在很火的几种深度学习图像检测算法YOLO，Faster R-Cnn，SSD等，但有些情况下直接使用OpenCV来实现检测可能也有独特的优点，例如非常的快Orz！使用OpenCV里的CascadeClassifier()来实现人脸检测,检测方式相当于滑动窗口机制+级联分类器1、滑动窗口机制滑动窗口机制，在深度学习计算机视觉里也有，就是用一个大小固定的框去扫描输入的图片如下图。最终一张图片扫描得到的结果数量由输入图片的

2020-07-09 16:25:06 1104 1

原创利用Opencv显示多个图片

最近在研究Opencv，也遇到很多博客上都有过一个同样的问题：如何像matplotlib里一样在一张画布上显示多个图片。很多博主给出了自己的精妙的方法，我在这里也斗胆尝试实现一下，方便和大家交流讨论。代码先放在下面:利用了np里的vstack、hstack来将图形作为矩阵进行拼接，写得比较简单欢迎大家指教。import cv2 as cvimport numpy as npimport osdef addimg(imgs,size,layout):#imgs为需要展示的图片数组#size为展

2020-07-08 12:08:23 2879

原创诈骗电话识别

这几天偶然参加了这个比赛项目，分享一下个人的想法，能力有限欢迎大家来讨论学习！数据来源“数字四川创新大赛-诈骗电话识别”数据训练集由如下4个部分组成：user：用户的一些基础资料voc：8个月内的通话数据SMS和APP：8个月的短信和上网数据测试集和训练集组成类似，但手机话费消费的月份只有一个月针对以上的数据首先从user中统计了用户的phone_no_m，再根据phone_no_m依次整理通话、短信和上网的数据特征首先整理VOC中每个phone_no_m通话的频率次数分别把呼入呼出次

2020-06-07 15:58:51 7309 10

原创 Tensorflow2实现残差网络

今天记录一下利用Tensorflow2来实现残差网络。残差网络缓解了在深度神经网络中增加深度带来的梯度消失问题，使在实际效果中加深神经网络得到更好的训练结果理论成真。其主要由输入部分，多个残差块，全连接部分网络组成。残差块即是指在计算时可以通过跳过某几层直接向后传到输出部分的几层网络组成，简单来说就是跳步进行权重的优化，具体形式如下图残差块使得本来需要顺序执行的网络模式变得可以跳跃着执行，...

2020-04-29 14:37:22 4219 5

原创基于tensorflow2实现卷积神经网络

利用tensorflow2中的api实现一个简单的卷积神经网络，完成梯度下降的操作并绘制训练集和测试集准确率曲线。数据分布：训练集数量为209，测试集数量为50import numpy as npimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow import kerasfrom tensorflo...

2020-04-25 20:24:16 1164

原创卷积神经网络——目标检测.目标定位

目标检测是计算机视觉领域中非常热门的方向，通常利用图像处理与模式识别等领域的理论和方法，检测出图像中存在的目标对象，确定这些目标对象的语义类别，并标定出目标对象在图像中的位置。目标检测是对象识别的前提。而在目标检测中目标的定位则是非常重要的基础。图片分类问题已经不陌生了如图，输入一张图片到卷积神经网络中，最后我们会获得由softmax神经单元提供给我们的预测图片类型的概率。如在一个自动驾驶...

2020-04-23 19:12:52 5042 2

原创深度学习记录（3）逻辑回归中的梯度下降法

在逻辑回归中我们预测结果的方程为Y’=σ（X*W.T+b）我们使用一个计算图来将它表示出来，如下图所示。一般情况下，我们学习W和b两个参数时需要三个过程：1.前向传播读取一个数据，顺着我们的计算图，首先求得Z，然后求得Y’，再使用损失函数计算Y’和Y的差距，这样的过程我们叫做前向计算。2.后向计算后向计算是一个计算偏导数的过程，首先我们需要计算预测值的偏导数dY’(即∂L(Y’,Y...

2020-04-23 10:54:46 417

原创深度学习记录（2）梯度下降

在之前我们已经了解了当拥有大量数据情况下的回归函数和损失函数的表达方式。为了使得我们的损失函数的值不断的变小，就需要我们找到合适的W和b来得到合适的预测值Y’。使用梯度下降可以进行合适的W和b的选择。损失函数的图像如下图所示虽然W和b为矩阵但我们将它看做实数，在此处W和b分别表示两个参数，纵轴表示损失函数的大小。我们所期望的就是找到合适的W和b，使我们的J(W,b)位于最小值，因为J...

2020-04-23 10:19:18 330

原创深度学习记录（1）逻辑回归

深度学习记录分享一下学习深度过程和遇到的一些问题，这些代码主要是根据吴恩达团队的深度学习课程为基础并参考了一些博客进行来实现的，能力不足水平有限，望大家批评指正。逻辑回归是一种监督学习算法，目的是使训练数据的标签值与预测出来的值之间的误差最小化。假设们的已知参数X对应的标签为Y，而我们预测出的值为Y’,再假设我们的Y‘的计算方式为Y’=X*W+b,这是一个很常见的的二元方程，参数为W和b，初始...

2020-04-22 16:15:48 486