qq_34072169的博客

转载 Spark启动过程中遇到的错误 ./spark-shell --master spark://node001:7077

20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using t...

原创 Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources

错误提示：scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources调度器：初始化Job时没有足够的资源，检查你的Clu...

原创 Hadoop分布式集群搭建之虚拟机安装配置

一、下载Hadoop集群所需的Linux版本，这里选用Centos6.5Minimal版本 网址为：http://archive.kernel.org/centos-vault/6.5/isos/x86_64/二、安装虚拟机1.选择如下（自定义安装出现缺失包错误，无法使用下载好的镜像），所以选择第一个2.选择稍后安装操作系统3.选择Linux之Cent...

原创 迁移学习概念简介

传统的机器学习过程中，不同的任务会用到不同的机器学习模型，然而迁移学习是针对某一种类型构造的数据也可以运用到另一类型的系统和数据中。迁移学习是从一个或多个源领域中通过训练该模型，得出有用的知识并将其用在新的目标任务上（未标记的同一类有相似特征的物品或者是未标记的不同类物品）本质是知识的迁移再利用。迁移学习的目标是从一个或者多个源领域任务中提取有用知识并将其用在新的目标任务上，本质...

原创 C++三种不同的值传递形式

1.在内存中有地址和值两种，值传递只是把变量的值复制给形参引用传递只是把变量的地址复制给形参，在另一个函数中直接操作地址指针传递是在一个形参中将实参的地址赋值给形参的值指针传递与引用传递的区别：（指针传递本质上时值传递）1.引用传递在使用前必须被初始化，指针传递则可以在任意时候被初始化2.指针传递是一个指针可以指向别的变量，也可以指向NULL，而引用传递只能使用形...

原创 Java一个对象所占字节数计算方法

Java中一个对象所占用的字节数为8的整数倍。Java对象包含四个部分：A:对象头，占用很少的字节，表述Object当前状态的信息B:基本类型域占用的空间(原生域指 int、boolean、short等)C:引用类型域占用的空间(引用类型域指 其他对象的引用，每个引用占用4个字节)D:填充物占用的空间(后面说明什么是填充物)A.对象头：包含一个对象的元数据信息，...

原创 CentOS6 linux免密登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacd .ssh/cat id_dsa.pub >> authorized_keysscp id_dsa.pub node001:`pwd`/node002.pubssh node001

原创 Kubernetes之YAML文件格式讲解

# yaml格式的pod定义文件完整内容：apiVersion: v1#必选，版本号，例如v1 //红色部分定义Pod元数据信息，pod，kind: Pod #必选，Pod // namespace，pod标签，相关注释metadata: #必选，元数据name: string#必选，Pod名称namespace: s...

原创 Kubernetes和Docker，分布式集群搭建和安装

https://blog.csdn.net/wucong60/article/details/81161360https://blog.csdn.net/Cloud_Zp/article/details/79124387https://www.cnblogs.com/tylerzhou/p/10971336.htmlhttps://blog.csdn.net/yan23...

原创 Tensorflow导包问题

问题描述：linux环境中，在pi用户下可以使用 import tensorflow在root用户下无法使用 import tensorflow原因：在python3文件夹中，无法找到sys路径import syssys.path输出：--------大致是这样的路径。可以使用两种方式来增加Tensorflow包的导入：1.临时导入impo...

原创 HP台式机设置Intel VT-x

由于要使用虚拟机。但是虚拟机报错。找了一下没有找到。原来在这个地方：

原创 为什么freemind配置好java环境变量还不能用呢？