- 博客(31)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 用fbs打包PyQt5程序
想要将自己写的Pyqt5程序打包成可执行程序1.创建并激活py虚拟环境通过Anaconda Prompt进入当前目录下，例如我新建一个目录/square_fbs,cd到该目录下(python36) E:\square_fbs>新建虚拟环境python -m venv venv./venv/scripts/activate.bat但是我的python36...
2019-08-29 17:24:39
3050
原创 【MapReduce】OutPutFormat(自定义OutputFormat实例)
OutputFormatOutputFormat 是 MapReduce 输出的基类，所有实现 MapReduce 输出都实现了OutputFormat 接口。下面我们介绍几种常见的 OutputFormat 实现类。1）文本输出 TextOutputFormat默认的输出格式是 TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任 意类型，因为 TextOutput...
2018-11-26 18:59:37
484
原创 【HDFS】二 shell操作
1、基本语法bin/hadoop fs 具体命令 或者bin/hdfs dfs 具体命令2、命令大全 $ bin/hadoop fs 命令含义示例[-appendToFile <localsrc> ... <dst>][-cat [-ig
2018-11-03 22:22:27
255
原创 【HDFS】一 HDFS 概述
1.1 HDFS 产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。1.2 HDFS 概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布 式的，由很多服务器联合起来实现其功能，...
2018-11-03 20:50:20
403
原创 虚拟机时间同步
Centos6.5 本来设置了时间同步，但是配置完成后不仅时间不同步，还和正确时间不同，于是再寻找办法，使得每台虚拟机都与网络时间同步，从而达到集群时间同步的目的。以下是参考其他博客总结出来的步骤：一、安装vmtools首先VMWare中选择Settings > VMWare Tools Install.使用root用户执行以下操作：1、安装必要的工具套件：[ root@maste...
2018-11-03 20:14:05
2576
原创 【实验笔记】Python3+OpenCV读表盘示数
1.cv2.imread（）返回值为NONE执行pip install --upgrade opencv-python，成功后重新打开python console验证，imread jpg通过，返回的img为正常的MN3数据；至此解决此错误。修改图片路径：img = cv2.imread('/usr/apps/python-cv-samples-master/examples/analog-...
2018-10-30 15:59:58
2251
1
原创 Hadoop采坑小记
一 eclipse 上传文件到hdfs报错：java.io.IOException: Could not get block locations. Source file "/1108/daxian/banzhang/kafka_2.12-2.0.0.tgz" - Aborting... at org.apache.hadoop.hdfs.DataStreamer.setupPipeline...
2018-10-20 17:10:18
1773
原创 插件编译
ant jar -Dhadoop.version=2.8.5 -Declipse.home=D:\jee-oxygen\eclipse -Dhadoop.home=D:\hadoop-2.8.5cd I:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin
2018-10-18 15:57:14
296
原创 集群部署重新规划
由于之前已经搭建好的集群中master职务过于多，会造成效率降低，故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。masterslaver1slaver2slaver3slaver4slalver5HDFSNameNodeDateNodeSecondaryNameNode DateNodeDat...
2018-10-16 21:41:42
361
原创 xsync 集群同步脚本
scp 和rsync均是远程拷贝，rsync 远程分发xsync 集群分发脚本循环复制文件到所有节点相同的目录下新建一个脚本touch xsync.shvim xsync.sh#!/bin/bash# $#：表示传递给脚本或函数的参数个数。#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args...
2018-10-16 20:24:02
4751
原创 Kafka_2.12-2.0.0 安装过程
1.下载kafka_2.12-2.0.0.tgz，并上传到/usr/local/kafka/目录下解压并删除安装包2.配置修改每台服务器的config/server.propertiescd /usr/local/kafka/kafka_2.12-2.0.0/configvim server.properties 修改几个地方：broker.id： 唯一，填数字，本文中分别为1...
2018-10-13 19:59:25
2384
原创 IDEA 配置Hadoop 环境
1 下载Intellij idea1.1 windows 下安装Mavenhttps://www-eu.apache.org/dist/maven/maven-3/3.3.9/binaries/下载并解压到目录：D:\apache-maven-3.3.9配置环境变量添加MAVEN_HOME在path中加入路径：测试：新建一个文件夹作为仓库D:\MavenRepositor...
2018-10-13 12:04:10
2827
原创 Hadoop2.8.5 安装过程
1 下载hadoop安装版本：CentOS7 Hadoop2.8.5 JDK1.8说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。下载Hadoop：http://www-eu.apache.org/dist/hadoop/common/...
2018-10-12 19:23:25
5228
原创 Hbase 1.2.5安装过程
1 下载和解压1.1 下载Hbase可以在Hadoop集群的某些机器(一台也可以，例如选择namenode节点来安装)上安装，也可以全部机器上都安装。Hbase是依赖Hadoop和Zookeeper的，所以在安装Hbase之前，请先安装Hadoop和Zookeeper。在官网 http://mirror.bit.edu.cn/apache/hbase/stable/ 下载 hbase-1....
2018-10-12 09:46:42
767
原创 Zookeeper3.4.10 安装过程
1 对Zookeeper集群进行配置在本集群的每个节点上都安装Zookeeper，再修改配置为集群1.1解压安装1.1.1解压下载zookeeper-3.4.10.tar.gz，上传到目录/usr/local/zookeeper解压，删除安装包tar zookeeper-3.4.10.tar.gzrm -rf zookeeper-3.4.10.tar.gz进入目录 /usr/lo...
2018-10-12 08:53:06
887
原创 spark2.3.1 安装过程
1.安装scalarexport SCALA_HOME=/usr/local/scala/scala-2.12.7export PATH=$PATH:$SCALA_HOME/bin验证：scala -versionscp -r spark slave1:/usr/local/vim /etc/profile2.下载sparkexport SPARK_HOME=/usr/l...
2018-10-12 08:26:36
929
原创 实验结果小记
首先，步长要小于0.003，否则会出现以下现象，再大就会无法收敛，造成内存溢出，那么继续减小步长，会对结果有什么影响？ 学习率 循环次数 房价预测结果 R2R2R^2 0.003 2000 294631.58 4387.54760441.45 0.71392655 0.001 2000 287257.7622517.5572707...
2018-09-28 17:59:40
169
原创 centos7设置开机自动联网
说明：CentOS 7.0默认安装好之后是没有自动开启网络连接的！cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录vim ifcfg-eth0 #编辑配置文件，添加修改以下内容ONBOOT=yes #开启自动启用网络连接:wq! #保存退出service network restart #重启网络...
2018-09-28 17:59:19
266
原创 Linux命令行输入命令执行后报bash:vi:command not found
Linux命令行输入命令执行后报“bash:vi:command not found”这是由于系统PATH设置问题，PATH没有设置对，系统就无法找到精确命令了。 1、在命令行中输入：export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin 这样可以保证命令行命令暂时可以使用。命令执行完之后先不要关闭终端。 ...
2018-09-28 17:58:36
3705
原创 Linux 学习（一）——注意事项
注意事项Linux严格区分大小写Linux中所有内容均以文件形式保存，包括硬件Linux不以扩展名区分文件类型，但一些文件的“.gz”,".bz2",".tar.bz2",".sh"等是为了管理员区分Linux所有的存储设备都必须挂载之后用户才能使用，包括光盘，硬盘，U盘Windows下的程序不能直接在Linux中安装使用Linux各目录的作用目录名
2018-09-27 14:00:29
208
原创 Xshell远程连接虚拟机Linux（NAT端口映射）
VMware Workstation提供了两种虚拟机上网方式，一种bridge,一种NAT，bridge可以获得公网地址，而NAT只能是内网地址了。NAT相当于把主机当成了一个NAT转换器，我们可以添加端口映射，使得外网可以访问利用NAT上网的虚拟机。主机环境： Win10公网IP: 10.0.119.23虚拟机版本： VMware Workstation 10虚...
2018-09-27 13:59:36
4149
2
原创 配置Hive
首先明确几点：Hive是数据仓库（DW），Hbase是数据库（DB） Hive是基于hdfs的，数据存储为hdfs上的文本内容（类似表的二维结构），而不是RDBMS的一张张二维数据表。但是Hive屏蔽了这些，对用户而言，就可以看做是一张张的二维表 Hive只需要安装在集群中的任何一台机器上即可，不需要所有机器都安装 Hive是支持JDBC的，尽管不是支持JDBC的所有特性，但是大多数是可...
2018-07-17 11:11:11
757
原创 Spring
1. Spring框架简介Spring为JavaEE开发提供了一个轻量级的解决方案，主要表现为，IOC（或者叫做DI）的核心机制，提供了bean工厂（Spring容器），降低了业务对象替换的复杂性，提高了组件之间的解耦。AOP的将一些通用任务，如安全、事务、日志等集中进行管理，提高了复用性和管理的便捷性ORM和DAO提供了与第三方持久层框架的良好整合，简化了底层数据访问。提供了优秀的Web MVC...
2018-07-07 16:23:58
239
原创 MVC设计模式
1、MVC是一种通用的Web软件设计模式，把应用程序分为数据处理、数据展示、流程控制三个部分，及三大模块：模型（model，M）、视图（View，V）、控制器（Control，C）。Model(模型)是应用程序中用于处理应用程序数据逻辑的部分。通常模型对象负责在数据库中存取数据。View(视图)是应用程序中处理数据显示的部分。通常视图是依据模型数据创建的。Controller(控制器)是应用程序中...
2018-07-05 17:31:48
227
原创 配置Hbase
1.软件下载2.解压到/root/app/hadoop-2.7.5/hbase目录下3.编辑hbase-env.sh# The java implementation to use. Java 1.7+ required. export JAVA_HOME=/root/app/jdk1.7.0_76# Extra Java CLASSPATH elements. Optional. ...
2018-04-18 20:01:57
244
原创 Linux下安装MySQL
1.首先上传安装包 mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz 到/root下2.解压：[root@master ~]# tar -zxvf mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz3.将目录移动到/usr/local/，并改名为mysql[root@master local]# mv mysql-5.7.21...
2018-04-18 17:09:42
2442
原创 Hadoop完全分布式环境搭建（二）—— Hadoop安装及配置
Hadoop集群搭建布局设计1.下载Hadoop1）同样方式解压到app文件夹下 tar -zxvf hadoop-2.7.5.tar.gz -C app/2）创建文件目录为了便于管理，给Master的hdfs的NameNode、DataNode及临时文件，在用户目录下创建目录：/root/app/hadoopdata/hdfs/name/root/app/hadoop...
2018-04-11 11:31:44
446
原创 Linux下HDFS简单的shell操作
目前实现Linux环境下通过shell命令来实现hdfs文件的上传与下载1.启动Hadoopstart-all.sh2.上传文件假设将/root目录中的jdk安装包上传到hdfs的根目录下:hadoop fs -put jdk-7u76-linux-x64.tar.gz hdfs://master:9000/执行完以后从网页打开http://192.168.1.111:50070/ 的文件系统刷新...
2018-04-09 19:40:59
4866
原创 Hadoop完全分布式环境搭建（一）——Linux系统安装及JDK安装
一、创建3台主机1.安装虚拟机：VMwareStation2.新建3台服务器，并进行主机名和网络配置1）打开VmwareStation，点击新建虚拟机->下一步->稍后安装操作系统->下一步选择Linux，centos->下一步，设置虚拟机名字和位置->下一步选一个处理器一核就行->内存最少1G->网络设置先选择net模式，后期可以设置->控制器磁盘...
2018-04-04 19:45:42
900
原创 Linux系统使用小记
1.umane 显示系统信息man uname 查看帮助文档，Q返回uname -a 查看全部信息uname -r 系统版本2.查看及修改主机名hostname 查看主机名hostname newname (临时修改)修改主机名 该方法一旦系统重启则名字依然是原来未修改的名字利用vi编辑器（长期修改）：1.vi /etc/sysconfig/network 进入编辑器2.按键盘上“a”键，v...
2018-03-06 20:42:49
174
原创 一种多重链表的建立
分享一个作品，简单介绍一下第一次课程设计中关键部分，一个多重链表的建立，题目是图书管理系统，用到的数据存储方式为动态链表存储，为了实现多种关键字查找的功能，我设计了一种链表的建立方式，如图。 结构设计思路：这个结构中有一个存储书信息的主链表，增加结点的时候直接在链表结尾插入，为了实现多关键字查找，又避免对主链表的多次完全遍历，于是将关键字的信息提取出来，新建一个以新链表，该链表存储两
2016-01-09 17:38:41
1017
Locality-sensitive-hashing-master.zip
2020-10-08
Centos6.5编译64位Hadoop2.7.5.tat.gz
2018-11-04
Centos7编译64位 Hadoop2.8.4.tar.gz
2018-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人