- 博客(36)
- 资源 (6)
- 收藏
- 关注
原创 pytorch多GPU并行DistributedDataParallel应用和踩坑记录(本节-单机多卡实现)持续补充
pytorch多GPU并行DistributedDataParallel应用和踩坑记录(本节-单机多卡实现),会持续补充bug
2024-01-13 21:42:39
638
原创 全连接网络
1.架构参考链接:深度学习开端|全连接神经网络 - 知乎基本的结构:输入层(样本数据);隐藏层(隐藏层的层数和每层的神经元数目需要自己给定);输出层(预测目标)2.计算神经元是上一层的输入与权重相乘后求和,在经过非线性函数转换。得到下一层的输出。可表述为:其中,非线性函数f是激活函数,加入激活函数,使得模型可以处理非线性问题,常用激活函数包括sigmoid函数;tanh函数和relu函数。(tanh函数和sigmoid函数一样,可将求和的值限制在(0,1)之间)...
2022-03-10 16:18:59
2190
原创 LaTeX介绍及texlive安装
LaTeX – A document preparation systemLaTeX是一个科研界常用的文档排版系统,具有相应的编排语法,在不同的硬件和操作系统上有不同的编译编辑器,如texlive,texstudio等。本文讲述texLive的下载安装与基本使用。...
2022-02-10 20:37:43
2512
原创 日本向日葵8号卫星数据下载
1. 账户注册打开注册系统:https://www.eorc.jaxa.jp/ptree/,点击注册,弹出如下页面,提示注册注意事项及数据用途,不能做盈利使用、未经授权不能发布给第三方等。可以近实时地下载Himawari Standard Data 和JAXA's Himawari geophysical Parameter Data。 需要注意的是2015年7月7日前的数据质量可能未经保障。例如,若发表文章,需在文后添加:"'Research product of XXX (produc...
2021-09-13 16:19:23
2005
1
原创 python :ModuleNotFoundError: No module named ‘scipy‘
原因:运行脚本,报错,错误如下:Traceback (most recent call last): File "read_mat.py", line 1, in <module> import scipy.ioModuleNotFoundError: No module named 'scipy'解决方案:步骤一:$ pip3 install scipy,又出错。Collecting scipy Could not find a version tha...
2020-12-11 19:55:00
5169
1
转载 Linux下安装Python3.6和第三方库
Linux下安装Python3.6和第三方库觉得篇安装文档很详细,转载。转载自https://www.cnblogs.com/kimyeee/p/7250560.html如果本机安装了python2,尽量不要管他,使用python3运行python脚本就好,因为可能有程序依赖目前的python2环境,比如yum!!!!!不要动现有的python2环境!一、安装python3.6...
2020-04-15 11:53:43
239
原创 HDFS NFS数据挂载功能
目的:利用NFS,将HDFS底层文件共享到本地操作系统 本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题,网上有比较多的参考资料,也都很有用。但我在配置过程中,遇到许多其他隐藏的坑,例如,首先我不知道NFS是什么,我就开始配,导致简单的配置出错我都弄了很久。为了让跟我一样的小伙伴们避免踩同样的坑,我从Linux NFS到HDFS NFS配置,再到配置好之后,数据读写性...
2019-12-12 10:51:17
1990
原创 Hadoop NFS启动失败
问题描述:启动Hadoop的NFS失败。查看日志:显示Failed to delete file or dir [/tmp/.hdfs-nfs]: it still exists.原因:说明当前用户对/tmp目录没有权限;解决方法:可以用root用户手动删除该目录;也可以对当前用户赋予对/tmp操作的权限。本人采用暴力方式,手动删除该/tmp/.hdfs-nfs目录,重新启动NFS,成...
2019-11-25 17:46:33
712
转载 三种恢复 HDFS 上删除文件的方法
本文转自两篇博文:过往记忆:https://www.iteblog.com/archives/2321.html?from=related https://www.cnblogs.com/cuishuai/p/8288976.html三种恢复 HDFS 上删除文件的方法我们每天都可能会操作 HDFS 上的文件,这就很难避免误操作,比如比较严重的误操作就是删除文件。本文针对这个问题提...
2019-09-21 11:32:37
719
原创 hadoop 集群移除节点,剩余节点空间不够怎么办?急
问题描述:对hadoop 集群移除节点,单次移除的节点太多,而集群已有数据量太大,导致移除节点后,容量不够。 集群一直显示Decommission in progress.等待了一天还是这样。 由于数据比较关键,怕丢失,不敢操作,网上查询没有相关的资料,最后不得已,强制恢复节点,重新加载配置,步骤如下:1. 查看文件状态,是否被损坏用./hdfs fsck / ...
2019-08-26 16:00:53
595
原创 linux:通过rpm包部署FTP服务
需求:在内部环境中部署FTP服务,供其他人员通过公共路径下载数据由于不能连接外网,不能使用大部分网友介绍的yum安装方法,且未找到一篇完整的介绍FTP服务部署到使用的文章,因此,整理了整个部署流程,希望对大家有帮助。一、 前期准备ftp由客户端和服务器端两部分组成。在linux下,服务器端采用vsftpd 。vsftpd 的全名是『Very Secure FTP Daemon 』,它是...
2019-07-24 16:52:27
1799
原创 HADOOP添加与删除节点
一、如何添加节点?大概配置思路:(转载于https://blog.csdn.net/czz1141979570/article/details/86712881)1、在新节点中进行操作系统的配置,包括主机名配置,防火墙,网络,免密登陆和安装JDK等2、在所有的节点的/etc/hosts文件中增加新节点3、把namenode的有关配置文件复制到该节点4、修改master节点的sl...
2019-07-04 10:41:58
819
转载 linux之特殊字符
linux之特殊字符备注:此文章为转载,转载链接https://www.cnblogs.com/yanhui1995/p/10698388.html特殊字符: 与路径和位置有关的特殊字符: ~ 用户的家目录,超级用户为/root _ 用户(-) 代表上一次用户所在路径 .代表当前目录(. 还有很多其他含义) ..代表上一级...
2019-07-02 10:14:30
1244
原创 Docker:(一)简介与安装
一、基础概念 Docker 是 PaaS 提供商 dotCloud 开源的一个基于 LXC 的高级容器引擎,是一个新兴的轻量级虚拟化技术,其主要动力是在不同的机器上创造无差别的应用运行环境。 Docker是以docker容器为资源分割和调度的基本单位,封装整个软件运行时环境,为开发者和系统管理员设计的,用于构建、发布和运行分布式应用的平台。是一个跨平台、可移植且简单易用...
2019-01-22 15:05:43
235
原创 Hbase错误(二):ServerNotRunningYetException: Server is not running yet
前言:我用的是hbase2.1.0;Hadoop2.7.4;zookeeper3.4.10;分别对以上三个工具进行了容器化。好不容易解决完各种坑,将容器化的hbase运行起来,数据插着插着又出现各种问题,我的内心真的是崩溃的。一、首先出现的第一个问题描述如下:1. 用jps查看hbase、Hadoop、zookeeper相应服务,都正常运行;2. 登录网页也可看到hbase与Had...
2019-01-11 17:41:08
4285
1
原创 Rasdaman一:CentOS下Rasdaman安装与petascope配置
rasdaman安装方式有很多种,源码安装、RPM/DEB包,或者下载预制虚拟机。最简单的安装方式是通过yum安装,自动添加了相应依赖,无需手动下载,见链接。默认安装路径为:/opt/rasdaman/;rasdaman.war和def.war安装在/var/lib/tomcat/webapps下,实例程序在share/rasdaman/examples目录下。 硬件和软件需求:推荐...
2019-01-09 09:07:25
630
原创 Hbase-Thrift:Thrift安装及错误集锦
本文主要分为三部分:安装thrift、使用实例程序通过thrift访问hbase及错误集锦。第一部分:安装thrift根据官网文档,thrift安装比较简单,但是在实际过程中仍然遇到不少问题,一般是依赖库的问题;1.首先通过官网下载thrift 安装包,本人安装0.11.tar.gz2.验证依赖:thrift至少需要两个依赖库,boost和libevent,因此需查看系统中是否有这两个库;...
2018-12-19 10:57:42
2238
1
原创 eclipse windows 安装
eclipse安装很简单,本文只是为了记下下载链接,便于以后查找。下载:https://www.eclipse.org/downloads/安装前提,JDK包或JRE:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlJDK介绍:https://docs.oracle....
2018-12-12 17:35:27
115
原创 Hbase错误(一):Hbase 所有节点regionserver启动成功,Hmaster起不来
Hbase 所有节点regionserver启动成功,Hmaster起不来。查看日志,显示错误:failed on connection:connection refused;首先查看hbase 的配置文件hbase-site.xml,hbase.rootdir属性是否设置正确,路径主机与hadoop namenode主机节点一致,若不一致,则修改。若一致,则再寻找其他原因。若未解决,查看...
2018-11-23 16:02:51
1442
转载 Error response from daemon: Cannot start container ···-i docker0: iptables: No chain/target/match by
方法一:参考:https://blog.csdn.net/qq_14853889/article/details/79678406通过分析异常信息,发现是因为在进行原地址到目标地址转换的时候没有在docker主机的iptables规则中找到nat表规则,只有filter表规则。在filter表上面增加nat表配置规则信息,需要说明的是docker容器的网段是172.17.0.0/16,...
2018-11-23 15:51:11
949
原创 java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers
问题描述:zookeeper、hbase、hadoop都启动正常,也能正常写入数据,但是启动hbase的时候会出现提示信息,但是进入hbase shell 中创表及写入数据都正常:java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers。且停止hbase时,出现/...
2018-11-08 15:10:21
1682
转载 Hadoop四:Container is running beyond memory limits
The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-reduce task. The NodeManager monitors the entire proce...
2018-11-08 10:14:10
220
原创 Hadoop二:hadoop hbase与最新版本兼容性
总:HBase 2.0+ 最低需要Java 8和Hadoop 2.6,需要ZooKeeper 3.4.x。hbase官网给出的hbase与hadoop兼容表格如下:http://hbase.apache.org/book.html#standalone_dist "S" = supported "X" = not supported "NT" = Not tested ...
2018-11-07 16:44:59
5508
原创 Hadoop三:hadoop运行错误3:yarn执行作业卡死
部署步骤一致,每次错误不一样;错误1: INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Error launching appattempt_1541382172965_0001_000001. Got exception: java.net.UnknownHostException: I...
2018-11-06 09:38:05
1735
原创 error: KeeperErrorCode = NoNode for /hbase/master
错误2:搭建完集群之后,在hbase shell中查看表,出现error: KeeperErrorCode = NoNode for /hbase/master1. 查看日志,是因为zookeeper启动后又自动关闭了。为什么会出现这个问题呢?是因为原来是因为zoo.cfg里的data目录是配置在/tmp下的,这目录是会定时清空的,因此,需要更改该目录,我的设置为/usr/local/wo...
2018-10-29 16:02:35
26375
5
原创 hbase启动成功,进入hbase shell,list表出现zookeeper.znode.parent
启动hbase,出现HMaster和HRegionServer后台进程,进入hbase shell,执行表操作,出现error:zookeeper.znode.parent;查看日志,出现zookeeper连接失败,不存在的服务名或主机名;刚开始以为是hbase-site.xml属性文件配置错误,查看资料,将zookeeper.znode.parent的属性设置由默认的/hbase改为/hba...
2018-10-24 09:21:23
11197
原创 Hadoop一:Hadoop的NodeManager启动错误,NodeManager from slavenode2 doesn‘t satisfy minimum allocations
启动hadoop,刚解决完datanode未成功启动问题,又出来新问题,在datanode上用jps看不到NodeManager进程;查看日志,出现错误如下:Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeM...
2018-10-23 19:30:32
1237
转载 Hadoop-2.7.4启动datanode失败
Hadoop-2.7.4启动datanode失败,出现如下错误:WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hbase/temp/hadoop-root/dfs/data/出错原因:datanode数据目录中还有原来老版本、上次运行后...
2018-10-23 19:20:48
515
转载 docker no space left
此文章为转载加总结;保存镜像tar包,显示 设备空间不足,如何解决?参考链接:https://blog.csdn.net/niu_hao/article/details/788730761. 用df -Th查看磁盘使用情况;2. docker ps -s 查看容器大小,验证数据卷是否设置成功,若容器增长较大,说明没有成功。3.查看docker默认目录有没有改,docker默认目录空...
2018-09-28 20:06:14
562
原创 启动zookeeper服务不成功,zkServer.sh status查看状态,显示not running。
在搭建hbase-hadoop-zookeeper集群的过程中,zookeeper总是起不来,遇到各种各样的问题,现在列出来做一个总结:错误1:启动zookeeper服务不成功用/usr/local/work/zookeeper-3.4.10/bin/zkServer.sh start开启zookeeper服务,显示STARTED,但是用zkServer.sh status查看状态,显示n...
2018-09-28 20:02:27
5326
原创 docker-compose安装
1. 下载安装文件docker-compose-Linux-x86_64;链接: https://github.com/docker/compose/releases2. 复制文件到bin路径,并修改文件名cp ./docker-compose-Linux-x86_64 /usr/local/bin/docker-compose3. 修改文件权限chmod + /usr/loc...
2018-09-28 11:35:20
1128
转载 如何解决 image has dependent child images 错误
文章为转载:原地址http://www.ibloger.net/article/3217.html 感谢《程序喵》,方法很管用,所以转载供需~~~问题在 Docker 中删除 image 时有时会遇到类似Error response from daemon: conflict: unable to delete 6ec9a5a0fc9f (cannot be forced) - im...
2018-09-26 20:00:40
32332
1
原创 Vertica二:Vertica 的Management Console(MC)架构与安装详解
1.基础知识1.1 MC概念Management Console(MC)是基于浏览器的监控和管理工具,其图形接口为vertica数据库相关操作提供一个统一视图。通过用户友好界面,可以创建、导入和管理数据库及相关集群。使用MC可以查询数据、管理用户,并提供最新的图表,用于监测数据库的健康与性能。MC与Admintools有其相同功能,也有各自特色,相比而言,MC可提供额外的功能包括:提供...
2018-09-10 18:13:14
1432
原创 FVCOM安装
本人以前未接触过FVCOM相关,甚至都不知道FVCOM 是干什么的,但是领导要我安装部署FVCOM ,因此,作为菜鸟程序员,不管FVCOM架构及如何使用,单纯站在程序员角度安装部署FVCOM环境。 FVCOM(An Unstructured Grid, Finite-Volume Coastal Ocean Model,无结构网格有限体积海洋海岸模型),包含多种生态、海洋等模型(...
2018-08-18 11:03:05
11253
14
原创 Vertica一:vertica安装
新人第一次安装有一个偷懒(了解安装流程)的方法,在/etc/hosts中添加主机节点之后,直接执行18,19步骤,根据系统报错提示,一一去官网查找报错信息,根据报错信息,一一修改配置,在这个过程中,可以增加对vertica安装与部署流程的理解。 1. 创建管理账户vdbadmin(系统会默认创建一个,若不清楚操作,尽量不手动配)useradd vdbadmin –u 123 ...
2018-07-20 09:21:46
3652
Vertica_CE_VM_User_Guide
2020-11-26
Vertica_9.1.x完整文档
2020-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人