吃冰淇淋-CSDN博客

原创 Pytorch实现AlexNet学习笔记

Pytorch实现AlexNet学习笔记代码model.train():代码model.train():model.train()，训练过程中，作用：启用batch normalization和drop out。model.eval()，测试过程中，作用：沿用batch normalization的值，不使用drop out

2021-04-25 22:49:15 153

记录学习——迁移成分变换之 TCA1、要解决什么问题？在构建机器学习模型时，训练数据与测试数据的分布不一致。导致我们训练出的模型的鲁棒性变差，并且在测试中可能很难有一个好结果。一般，将训练数据所在的数据域称为源域（surce domain）测试数据所在的数据域称为目标域（target domain）。2、解决思路？得到某种映射，使进而，使得两者条件分布相似，即：2、如何？1）衡量两个域的分布距离（两者之间有多不相似）衡量方法最大平均差异（maximum mean discrepancy

2021-01-04 10:42:52 894

原创神经网络使用TensorFlow训练MNIST数据集，SystemExit异常的解决方案

使用Spyder IDE，出现如下错误：Step 1800: loss = 0.30 (0.002 sec)Step 1900: loss = 0.44 (0.003 sec)Training Data Eval: Num examples: 55000 Num correct: 49180 Precision @ 1: 0.8942Validation Data Eval: ...

2020-01-07 15:33:00 476 1

原创 HBase分布式环境配置

一、下载安装包，（tar -zxvf）解压，并放置到指定目录；二、修改配置文件；1、/etc/profile修改完后source /etc/profile使之生效2、hbase-env.shJava环境变量配置：3、hbase-site.xml4、regionservers增加节点信息此处直接vim regionservers添加从节点即可5、启动集群进入bin目录下....

2020-01-06 16:18:57 183

原创 Hbase监控界面报错：500

Hbase 16010端口，监控界面报错：500错误信息如下查看日志（cat -n hbase-bigdata-master-master.log |grep “ERROR”）错误提示：master failed to complete initialization after 90000ms这可能是没有配置时间同步NTP导致的问题可以配置NTP或选择下面这个简单粗暴的方法...

2020-01-06 16:06:56 929

原创 Spark集群分布式环境安装配置

单机版的配置我的另一篇博客有单独描述，附上链接：https://blog.csdn.net/weixin_43729499/article/details/1038579481、在集群单机版的配置基础上，配置分布式环境增加以下配置信息：①、vim spark-env.shexport SPARK_MASTER_HOST=Master的节点信息②、vim slavesSlaves 节点...

2020-01-06 15:47:04 201

原创 Spark集群单机版安装配置

1、下载spark安装包安装包可以到官网上直接下载，不过速度可能会稍微慢2、对文件进行解压（tar -zxvf XXX），并移动到指定位置（移动位置命令：mv XXX YYYXXX就是你的安装包名称，YYY是目的路径）3、修改配置文件①、spark-env.sh可以复制一份由spark安装文件自带的配置文件模板spark-env.sh.template并重命名为spark-env....

2020-01-06 15:24:44 258

原创 Hadoop在本地产生数据

在本地产生三组数据1个1000MB的文件；1000个1MB的文件；1000*1000个1KB的文件。①、新建一个文件夹，在文件夹中新建三个文件（1_1G、10000_1M、10000000_1K)；②、新建脚本文件（使用for循环实现多个文件上传）；③、运行脚本，生成数据(./ren.sh)。...

2020-01-06 15:07:17 231

原创 HDFS常用命令（移动、复制、文件大小）

HDFS常用命令： path 为路径 src为文件路径 dist 为文件夹 1、-help[cmd] 显示命令的帮助信息./hdfs dfs -help ls· 12、-ls® 显示当前目录下的所有文件 -R层层循出文件夹./hdfs dfs -ls /log/map./hdfs dfs -lsr /log/ &...

2020-01-06 14:54:04 14737 1

原创 hbase客户端请求过程中涉及的可配置参数

在hbase-site.xml中的配置：①、Memstore持久化容量：hbase.hregion.memstore.flush.size（当Memstore数据达到该数值时进行持久化）②、Memstore阻塞系数：hbase.hregion.memstore.block.multiplier（当Memstore数据为持久化容量的2倍时，强制阻塞所有更新操作。防止在Memstore容量接近但还...

2020-01-06 14:47:11 276

原创 python ImportError: cannot import name 'imread'

首先可能是你没有导入scipy、pillow的包pip install Scipy #导入Scipypip install Pillow #导入Pillow查看pillow 和scipy的位置在同一路径下，不存在文件夹不同的问题那么这种情况下，可以尝试改变scipy的版次pip uninstall scipy输入 y确定移除pip in...

2019-12-19 20:31:39 165

原创 Linux 下Hbase环境搭建（Eclipse）

1、下载解压Eclipse安装包2、进入eclipse目录下，（./eclipse运行）3、新建标准的JAVA工程4、导入Hbase的所有相关jar包除了ruby以外，其他的全部选中5、建立连接创建一个表格6、查看创建结果（web界面/命令行都可查看）...

2019-12-05 21:32:27 605 2

原创 Hadoop之JDK配置

Hadoop之JDK配置步骤总结：（1）下载，我的是jdk-8u181-linux-x64.tar.gz（2）放到某目录下（移动到某目录下命令：mv 某文件名目录名），然后解压（tar -zxvf +压缩包名称）（3）环境变量配置，一般在 /etc/profile 或 ~/.bashrc文件下（4）使环境变量生效 source /etc/profile或 source ~/.bas...

2019-06-06 22:33:22 1594 1

weixin_43729499的博客