- 博客(11)
- 收藏
- 关注
RSS订阅原创 git更新本地仓库并上传文件
刚开始用gitlab，如果有说的不对的地方请指正最近师傅让上传一些东西到gitlab上，新建那些操作就先不说了，网上教程很多也比较容易，本人由于理解能力较差，在更新操作上踩了坑，特此记录以便之后可以及时查阅，也希望看到本文的朋友能够有所收获。首先我们先创建一个空文件夹当作你操作的空间，然后进入这个文件夹，把你想更新的gitlab地址拿过来git clone https://这时候拿到你g...
2020-03-01 00:31:43
890
原创 YARN
mapreduce是在很多机器上启动，并且先启动maptask，当众多的maptask都处理完自己的数据之后，还需要启动众多的reducetask，这个过程就需要启动一个自动化的调度平台–YARN。这个平台有两个角色，分别是主节点Resource manager（1台）和Node manager（N台）。Resource manager一般安装在一台专门的机器上，而Node manager应该...
2019-12-04 15:05:32
133
原创 checkpoint机制与hdfs的读写文件
刚复习完hadoop的相关知识，把它拿来做一个总结，方便日后查看也希望能解决大家的疑惑。checkpoint机制首先我们知道hadoop中存在namenode和datanode，datanode主要是用来存放数据而namenode的责任主要有三个：管理元数据，维护目录树，相应客户请求。元数据的格式为路径，block的副本数，block_name，以及存放block的datanode那...
2019-12-03 21:13:38
418
原创 hive集群搭建
我踩坑踩的真是太难了！首先声明一点：奉劝各位朋友不要盲目尝试新版本！不要盲目尝试新版本！一个脚刚刚踏出mysql的坑，一个脚又迈入启动hive的坑，我觉得我的坑大部分来源于jdk版本和mysql版本（微笑脸）。首先大概提一句mysql的坑，我装的是8.0版本，在这个版本中，user的登陆密码好像是需要同时包含大小写字母数字以及下划线。。。。然后其他操作就是更改远程登录的root权限就ok，这...
2019-11-20 09:50:35
223
原创 hadoop集群配置的一些命令
通过几天的配环境，总结一下常用的一些命令以及一些文件的用途，方便以后的学习，也希望能够带给大家帮助：我最原始的目录是这样的：etc目录这里的etc中放了配置环境变量的文件,hostname中放的是主机名,如图hosts中放入的是集群中的所有主机profile中放入的是的jdk路径和hadoop路径root/apps目录我的目录是这样的：这里还有一个etc，这里的etc里...
2019-11-02 17:36:35
192
原创 vameware fusion配置centos7虚拟机网络
Mac的配置虚拟机流程跟windows不太一样，的确让人比较头疼，经过不断的踩坑，记录一下这些天令人崩溃的网络配置记录。。。。1.首先是静态ip配置：这个环节非常重要，也是hadoop集群配置的最根本的环节，大部分情况下虽然可以ping通百度，但是虚拟机互ping时，和与localhost互ping的时候会出现问题，我的问题是脑残把虚拟网卡的ip当作静态ip配置了，配置如下：1.首先进入if...
2019-10-31 17:37:30
222
原创 图像resize的方法
最近在做图像分类的时候遇到很多数据集中图片的大小都不统一，所以把这个问题单独拿出来讨论一下。这里主要介绍一下tf.images.resize_imgaes这个函数。前两个参数很好理解，就是你需要resize的图片和你期待的size：[img_width,img_length,n_channels]。这里的method可以是以下几种：ResizeMethod.BILINEAR：双线性插值Re...
2019-09-23 11:19:20
2239
原创 tensorflow实现指数衰减
过拟合的问题让人头大。。。。不多说废话了直接代码learning_rate_ = 1e-3global_step = tf.Variable(0)learning_rate = tf.train.exponential_decay(learning_rate_, global_step, 100, 0.96, staircase=True) #生成学习率train_op = tf.tra...
2019-09-19 09:26:29
210
转载 loss不下降的原因
最近在做图像任务的时候，这个loss不下降的问题搞得我很烦。。借鉴一下如下经验：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/
2019-09-17 16:44:35
1124
原创 自动心音分类
数据集https://www.physionet.org/content/challenge-2016/1.0.0/我用的是这个数据集，如果大家以前做心音的话，也一定知道这个challenge，目前最大开源的心音数据集。我接触这个方向也是因为导师的一个项目，其实说实话就是一个简单的信号处理2分类，我自己的代码功底比较弱，比较不规范0_0。。。代码我上传到自己的github，大家感兴趣的话可以在...
2019-09-17 16:07:44
4997
29
转载 tensorflow如何分批次读入数据
有些时候当数据维度过大，会发生内存溢出，这两天在做东西的时候遇到了这样的问题。keras提供了很好的方法https://blog.csdn.net/m0_37477175/article/details/79716312参考这个。tensorflow的思想也类似，参考如下：https://blog.csdn.net/silence1214/article/details/77141396t...
2019-09-16 20:50:26
1672
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人