- 博客(13)
- 收藏
- 关注
原创 Pytorch实现AlexNet学习笔记
Pytorch实现AlexNet学习笔记代码model.train():代码model.train():model.train(),训练过程中,作用:启用batch normalization和drop out。model.eval(),测试过程中,作用:沿用batch normalization的值,不使用drop out
2021-04-25 22:49:15
153
原创 记录学习——迁移成分变换 之 TCA
记录学习——迁移成分变换 之 TCA1、要解决什么问题?在构建机器学习模型时,训练数据与测试数据的分布不一致。导致我们训练出的模型的鲁棒性变差,并且在测试中可能很难有一个好结果。一般,将训练数据所在的数据域称为源域(surce domain)测试数据所在的数据域称为目标域(target domain)。2、解决思路?得到某种映射,使进而,使得两者条件分布相似,即:2、如何?1)衡量两个域的分布距离(两者之间有多不相似)衡量方法最大平均差异(maximum mean discrepancy
2021-01-04 10:42:52
894
原创 神经网络使用TensorFlow训练MNIST数据集,SystemExit异常的解决方案
使用Spyder IDE,出现如下错误:Step 1800: loss = 0.30 (0.002 sec)Step 1900: loss = 0.44 (0.003 sec)Training Data Eval: Num examples: 55000 Num correct: 49180 Precision @ 1: 0.8942Validation Data Eval: ...
2020-01-07 15:33:00
476
1
原创 HBase分布式环境配置
一、下载安装包,(tar -zxvf)解压,并放置到指定目录;二、修改配置文件;1、/etc/profile修改完后source /etc/profile使之生效2、hbase-env.shJava环境变量配置:3、hbase-site.xml4、regionservers增加节点信息此处直接vim regionservers添加从节点即可5、启动集群进入bin目录下....
2020-01-06 16:18:57
183
原创 Hbase监控界面报错:500
Hbase 16010端口, 监控界面报错:500错误信息如下查看日志(cat -n hbase-bigdata-master-master.log |grep “ERROR”)错误提示:master failed to complete initialization after 90000ms这可能是没有配置时间同步NTP导致的问题可以配置NTP或选择下面这个简单粗暴的方法...
2020-01-06 16:06:56
929
原创 Spark集群分布式环境安装配置
单机版的配置我的另一篇博客有单独描述,附上链接:https://blog.csdn.net/weixin_43729499/article/details/1038579481、在集群单机版的配置基础上,配置分布式环境增加以下配置信息:①、vim spark-env.shexport SPARK_MASTER_HOST=Master的节点信息②、vim slavesSlaves 节点...
2020-01-06 15:47:04
201
原创 Spark集群单机版安装配置
1、下载spark安装包安装包可以到官网上直接下载,不过速度可能会稍微慢2、对文件进行解压(tar -zxvf XXX),并移动到指定位置(移动位置命令:mv XXX YYYXXX就是你的安装包名称,YYY是目的路径)3、修改配置文件①、spark-env.sh可以复制一份由spark安装文件自带的配置文件模板spark-env.sh.template并重命名为spark-env....
2020-01-06 15:24:44
258
原创 Hadoop在本地产生数据
在本地产生三组数据1个1000MB的文件;1000个1MB的文件;1000*1000个1KB的文件。①、新建一个文件夹,在文件夹中新建三个文件(1_1G、10000_1M、10000000_1K);②、新建脚本文件(使用for循环实现多个文件上传);③、运行脚本,生成数据(./ren.sh)。...
2020-01-06 15:07:17
231
原创 HDFS常用命令(移动、复制、文件大小)
HDFS常用命令: path 为路径 src为文件路径 dist 为文件夹 1、-help[cmd] 显示命令的帮助信息./hdfs dfs -help ls· 12、-ls® 显示当前目录下的所有文件 -R层层循出文件夹./hdfs dfs -ls /log/map./hdfs dfs -lsr /log/ &...
2020-01-06 14:54:04
14737
1
原创 hbase客户端请求过程中涉及的可配置参数
在hbase-site.xml中的配置:①、Memstore持久化容量:hbase.hregion.memstore.flush.size(当Memstore数据达到该数值时进行持久化)②、Memstore阻塞系数:hbase.hregion.memstore.block.multiplier(当Memstore数据为持久化容量的2倍时,强制阻塞所有更新操作。防止在Memstore容量接近但还...
2020-01-06 14:47:11
276
原创 python ImportError: cannot import name 'imread'
首先可能是你没有导入scipy、pillow的包pip install Scipy #导入Scipypip install Pillow #导入Pillow查看pillow 和scipy的位置在同一路径下,不存在文件夹不同的问题那么这种情况下,可以尝试改变scipy的版次pip uninstall scipy输入 y确定移除pip in...
2019-12-19 20:31:39
165
原创 Linux 下Hbase环境搭建(Eclipse)
1、下载解压Eclipse安装包2、进入eclipse目录下,(./eclipse运行)3、新建标准的JAVA工程4、导入Hbase的所有相关jar包除了ruby以外,其他的全部选中5、建立连接创建一个表格6、查看创建结果(web界面/命令行都可查看)...
2019-12-05 21:32:27
605
2
原创 Hadoop之JDK配置
Hadoop之JDK配置步骤总结:(1)下载,我的是jdk-8u181-linux-x64.tar.gz(2)放到某目录下(移动到某目录下命令:mv 某文件名 目录名),然后解压(tar -zxvf +压缩包名称)(3)环境变量配置,一般在 /etc/profile 或 ~/.bashrc文件下(4)使环境变量生效 source /etc/profile或 source ~/.bas...
2019-06-06 22:33:22
1594
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人