Source_00的博客

想要将自己写的Pyqt5程序打包成可执行程序1.创建并激活py虚拟环境通过Anaconda Prompt进入当前目录下，例如我新建一个目录/square_fbs,cd到该目录下(python36) E:\square_fbs>新建虚拟环境python -m venv venv./venv/scripts/activate.bat但是我的python36...

OutputFormatOutputFormat 是 MapReduce 输出的基类，所有实现 MapReduce 输出都实现了OutputFormat 接口。下面我们介绍几种常见的 OutputFormat 实现类。1）文本输出 TextOutputFormat默认的输出格式是 TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任 意类型，因为 TextOutput...

1、基本语法bin/hadoop fs 具体命令 或者bin/hdfs dfs 具体命令2、命令大全 $ bin/hadoop fs 命令含义示例[-appendToFile <localsrc> ... <dst>][-cat [-ig

1.1 HDFS 产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。1.2 HDFS 概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布 式的，由很多服务器联合起来实现其功能，...

Centos6.5 本来设置了时间同步，但是配置完成后不仅时间不同步，还和正确时间不同，于是再寻找办法，使得每台虚拟机都与网络时间同步，从而达到集群时间同步的目的。以下是参考其他博客总结出来的步骤：一、安装vmtools首先VMWare中选择Settings > VMWare Tools Install.使用root用户执行以下操作：1、安装必要的工具套件：[ root@maste...

1.cv2.imread（）返回值为NONE执行pip install --upgrade opencv-python，成功后重新打开python console验证，imread jpg通过，返回的img为正常的MN3数据；至此解决此错误。修改图片路径：img = cv2.imread('/usr/apps/python-cv-samples-master/examples/analog-...

一 eclipse 上传文件到hdfs报错：java.io.IOException: Could not get block locations. Source file "/1108/daxian/banzhang/kafka_2.12-2.0.0.tgz" - Aborting... at org.apache.hadoop.hdfs.DataStreamer.setupPipeline...

ant jar -Dhadoop.version=2.8.5 -Declipse.home=D:\jee-oxygen\eclipse -Dhadoop.home=D:\hadoop-2.8.5cd I:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin

由于之前已经搭建好的集群中master职务过于多，会造成效率降低，故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。masterslaver1slaver2slaver3slaver4slalver5HDFSNameNodeDateNodeSecondaryNameNode DateNodeDat...

scp 和rsync均是远程拷贝，rsync 远程分发xsync 集群分发脚本循环复制文件到所有节点相同的目录下新建一个脚本touch xsync.shvim xsync.sh#!/bin/bash# $#：表示传递给脚本或函数的参数个数。#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args...

1.下载kafka_2.12-2.0.0.tgz，并上传到/usr/local/kafka/目录下解压并删除安装包2.配置修改每台服务器的config/server.propertiescd /usr/local/kafka/kafka_2.12-2.0.0/configvim server.properties 修改几个地方：broker.id： 唯一，填数字，本文中分别为1...

1 下载Intellij idea1.1 windows 下安装Mavenhttps://www-eu.apache.org/dist/maven/maven-3/3.3.9/binaries/下载并解压到目录：D:\apache-maven-3.3.9配置环境变量添加MAVEN_HOME在path中加入路径：测试：新建一个文件夹作为仓库D:\MavenRepositor...

1 下载hadoop安装版本：CentOS7 Hadoop2.8.5 JDK1.8说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。下载Hadoop：http://www-eu.apache.org/dist/hadoop/common/...

1 下载和解压1.1 下载Hbase可以在Hadoop集群的某些机器(一台也可以，例如选择namenode节点来安装)上安装，也可以全部机器上都安装。Hbase是依赖Hadoop和Zookeeper的，所以在安装Hbase之前，请先安装Hadoop和Zookeeper。在官网 http://mirror.bit.edu.cn/apache/hbase/stable/ 下载 hbase-1....

1 对Zookeeper集群进行配置在本集群的每个节点上都安装Zookeeper，再修改配置为集群1.1解压安装1.1.1解压下载zookeeper-3.4.10.tar.gz，上传到目录/usr/local/zookeeper解压，删除安装包tar zookeeper-3.4.10.tar.gzrm -rf zookeeper-3.4.10.tar.gz进入目录 /usr/lo...

1.安装scalarexport SCALA_HOME=/usr/local/scala/scala-2.12.7export PATH=$PATH:$SCALA_HOME/bin验证：scala -versionscp -r spark slave1:/usr/local/vim /etc/profile2.下载sparkexport SPARK_HOME=/usr/l...

首先，步长要小于0.003，否则会出现以下现象，再大就会无法收敛，造成内存溢出，那么继续减小步长，会对结果有什么影响？ 学习率 循环次数 房价预测结果 R2R2R^2 0.003 2000 294631.58 4387.54760441.45 0.71392655 0.001 2000 287257.7622517.5572707...