CourageLee-CSDN博客

原创记一次安装mysql mysqld --initialize-insecure 不生成data文件夹

问题：安装过程，net start mysql显示无效服务名解决方法：找不到VCRUNTIME140_1.dll下载放到 c:\windows\system32 下

2021-08-09 17:20:48 1223

原创 6 Docker——Zookeeper 3.7.0 环境搭建

1 下载https://apache.website-solution.net/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz2 安装tar -zxvf /software/apache-zookeeper-3.7.0-bin.tar.gz -C /usr/local/3 重命名mv /usr/local/apache-zookeeper-3.7.0-bin/ /usr/local/zookeeper4 创建文件夹m

2021-05-24 18:37:17 440 1

原创 7 docker——安装HBase2.3.5 分布式环境

1 下载http://archive.apache.org/dist/hbase/2.3.5/2 导入将文件导入docker中centos系统3 安装HBasetar -zxvf hbase-2.3.5-bin.tar.gz -C /usr/local/然后改名cd /usr/local/mv hbase-2.3.5/ hbase创建一个文件夹用来保存hbase日志记录 mkdir /usr/local/hbase/logs修改Hbase启动时要使用的环境变量（hbase-

2021-05-24 17:13:26 461

原创 ERROR :ssh: Could not resolve hostname slave01: Name or service not known

每次系统启动后，/etc/hosts 都初始化了，所以ssh连接失败！解决方法：关闭NetworkManager服务即可。临时关闭：service NetworkManager stop永久关闭：chkconfig NetworkManager off关闭后再修改hosts文件，重启就不会变回去了。...

2021-05-24 16:54:45 7466

原创 5 Spark 分布式集群环境搭建

1.在Master节点机器上安装spark2 配置环境变量vim /etc/profile添加以下： export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin刷新：source /etc/profile3 Spark配置在Master节点主机上进行如下操作：配置slaves文件将 slaves.template 拷贝到 slavescd /usr/local/s

2021-05-22 15:58:10 155

原创 4 Docker 下安装Spark3.0.0

1 下载spark-3.0.0-bin-hadoop3.2.tgz ，导入系统中。解压tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz重命名 mv spark-3.0.0-bin-hadoop3.2 spark移动mv spark /usr/local修改Spark的配置文件spark-env.shcd /usr/local/sparkcp ./conf/spark-env.sh.template ./conf/spark-env.sh编辑spar

2021-05-22 14:30:57 631 1

原创 3 Docker-安装Hadoop-3.2.2分布式集群

1 下载hadoophttps://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz导入centos72 解压hadooptar -zxvf hadoop-3.2.2.tar.gz得到文件夹，将文件夹改名为hadoopmv hadoop-3.2.2 hadoop将hadoop移动到 /usr/local/ 中mv hadoop/ /usr/local/测试是否安装成功cd /u

2021-05-22 14:04:02 417 1

原创 ERROR:Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

启动hadoop集群。报错：解决方法：这里我们采用rsa方式，使用如下命令：ssh-keygen -t rsa然后一直按空格。完成后输入以下命令cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys该文件赋予一定权限：chmod 600 ~/.ssh/authorized_keys验证：ssh localhost 不需要密码输入即可登录，即为成功！...

2021-05-22 11:18:12 797

原创 ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@master hadoop]# sbin/start-all.sh Starting namenodes on [master]ERROR: Attempting to operate on hdfs namenode as root ERROR: but thereis no HDFS_NAMENODE_USER defined. Aborting operation. Startingdatanodes ERROR: Attempting to operate on hdfs dat.

2021-05-22 10:09:29 1754

原创 2 Docker-centos中升级java jdk

1 首先查看是否安装javajava -version没安装java2 下载JDKhttps://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html没有账号的同学可以使用该网站的账号进行登录下载http://bugmenot.com/view/oracle.com（支持注册，仅供学习研究）3 安装使用sftp将下载的`jdk-8u291-linux-x64.tar.gz` 上传到 centos7中（直接

2021-05-21 18:45:10 363

原创 1安装Docker——配置centos7进行ssh连接

1进入 https://www.docker.com/ 点击GetStart。进入下载页面下载所需版本。我这里下载windows下载成功后安装软件。启动Docker 打开Windows PowerShelldocker pull centos:centos7拉取指定版本的 CentOS 镜像使用以下命令来查看是否已安装了 centos7docker images已经安装成功！运行容器docker run -itd --name centos7 centos:centos7

2021-05-21 16:12:29 557

原创 4. Flink流处理API

1 Environment1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。ExecutionEnvironment env = ExecutionEnvironment.getExecutionE

2021-05-18 17:40:59 121

原创 Error:Flink中使用Maven报错“ SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder ”解决办法

报错：SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.解决方法：pom.xml 中加入依赖项： <depend

2021-05-17 15:39:00 833

原创 3 Flink运行时的组件学习

1 Flink运行时的组件1 JobManager ：作业管理器2 TaskManager ：任务管理器3 ResourceManager ：资源管理器4 Dispacher ：分发器1.1 JobManager ：作业管理器控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）逻辑数据流图（logical dataflow gra

2021-05-16 14:02:44 266 2

原创 2 Linux部署Flink——提交job

1 Web UI提交jobSubmit New Job -> +Add New选择导入的jar点击导入的jarEntryClass ：程序的入口，指定入口类（类的全限制名）eg：jar中的包名.类名（com.flink.StreamWordCount）Parallelism : 设置Job并行度。Ps：并行度优先级（从上到下优先级递减）代码中算子setParallelism() ExecutionEnvironment env.setMaxParallelism()设置

2021-05-13 19:50:18 686

原创 2 Linux部署Flink——安装Flink

1 linux安装Flink# 解压tar -zxf flink-1.10.1-bin-scala_2.12.tgz# 重命名mv flink-1.10.1/ flink下载对应版本的 flink-shaded-hadoop放入flink/lib 中可参考以下命令：# 下载对应版本的 flink-shaded-hadoopwget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-

2021-05-13 17:20:52 600

原创安装Linux——利用虚拟机搭建Centos7

1 下载虚拟机软件Vmware2 下载CentOS7 ios包https://vault.centos.org/7.4.1708/isos/x86_64/3 虚拟机中新建虚拟机，找到下载的安装包。导入即可。

2021-05-13 14:35:39 70

原创安装Linux 系统——windows自带子系统

1 使用windows 自带子linux子系统。1 在控制面版->程序->启动或关闭Windows功能，点击适用于Linux的Windows 子系统勾上。然后保存。2 在Microsoft Store 中安装Ubuntu3 启动Ubuntu 就可进行linux 下的开发。4 对于文件传输。将 window下下载的文件上传到 linux 子系统中。打开文件资源管理器，然后在目录窗口输入 \\wsl$回车就可以看到所有的子系统了。将文件拖入该目录（可自建一个文件夹，专门放

2021-05-13 14:25:20 542

原创 1.Flink快速上手之WordCount

设置依赖pom.xml注：flink-streaming-scala_2.12 => org.apache.flink:flink-runtime_2.12:1.12.1 =>com.typesafe.akka:akka-actor_2.12:2.5.21，akka就是用scala实现的。即使这里我们用java语言，还是用到了scala实现的包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://

2021-05-11 21:50:44 117

原创 ERROR:windows10安装nc测试flink 使用报错nc: forward host lookup failed: h_errno 11001: HOST_NOT_FOUN

解决方法：1.下载地址：https://eternallybored.org/misc/netcat/2.解压后将nc.exe复制到C:\Users\用户名该文件夹下3 就可以在客户端输入开启socket了nc -l -p 7777

2021-05-11 21:33:35 2102 1

原创 ERROR：Flink实现WordCount中，使用org.apache.flink.api.scala.ExecutionEnvironment 导致报错

刚学习Flink 不知道有org.apache.flink.api.java.ExecutionEnvironment;org.apache.flink.api.scala.ExecutionEnvironment;错误使用org.apache.flink.api.scala.ExecutionEnvironment;创建执行环境导致readTextFile(filePath ,charsetName)需要两个参数，运行报错解决方法：将flink中scala api 换成java api.

2021-05-11 17:11:19 386

原创 ERROR:beego v2 版本创建多对多关系表时会出现call of reflect.Value.MethodByName on zero Value

windows系统下，使用最新版本beego v2 创建多对多关系表时报错：call of reflect.Value.MethodByName on zero Value数据库创建无问题// User table 用户表，与用户组表多对多关系type User struct {Id intUserName string `orm:"unique"`Department stringEmail stringGroups []Group `orm:"rel(m2m)"` //多对多}//

2021-04-26 16:35:02 1051

原创 8 cnn卷积神经网络——cifar10数据集为例

CNN卷积神经网络：CBAPDC: 卷积层B：BN层（标准化）A：激活层P：池化层D：随机失活层最基本的网络模型import tensorflow as tffrom tensorflow.keras.datasets import cifar10import numpy as npfrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Conv2D,BatchNormalization

2020-12-02 10:02:44 217

原创 7 Fashion 数据识别

利用上篇训练好的模型，如何在实际中使用。import osfrom PIL import Imageimport numpy as npimport tensorflow as tffrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Flatten ,Dense,Conv1D,MaxPool1Dclass Mymodel(Model): def __init__(sel

2020-11-27 12:24:53 102

原创 6 自制Fashion数据集

学习如何根据自己已有的数据制作数据集！import osfrom PIL import Imageimport numpy as npimport tensorflow as tffrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Flatten ,Dense,Conv1D,MaxPool1Dfrom tensorflow.keras.preprocessing.image impo

2020-11-27 11:18:41 305 1

原创 5 Fashion数据集--衣裤识别

import tensorflow as tffrom tensorflow.keras.datasets import fashion_mnistfrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Flatten,Denseimport matplotlib.pyplot as pltfashion_data = fashion_mnist.load_data()(x_train,y

2020-11-25 20:42:17 249

原创 4 Mnist数据集——手写数字识别

import tensorflow as tffrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Flatten ,Densefrom tensorflow.keras.datasets import mnistimport matplotlib.pyplot as pltclass Mymodel(Model): def __init__(self): supe

2020-11-25 16:25:05 150

原创 3 使用class类搭建神经网络结构(鸢尾花分类）

学习使用类封装神经网络层import tensorflow as tffrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Densefrom sklearn.datasets import load_irisimport numpy as npimport matplotlib.pyplot as plt# 使用class类封装一个神经网络结构class MyModel(Model):

2020-11-25 14:41:44 543

原创 2.keras实现鸢尾花分类

from sklearn import datasetsimport tensorflow as tfiris_data = datasets.load_iris() # 加载数据集x_data = iris_data['data']y_data = iris_data['target']model = tf.keras.Sequential()model.add(tf.keras.layers.Dense(units=3,activation='softmax'))model.compi

2020-11-25 10:17:49 699 1

原创 1.神经网络实现鸢尾花分类（单层全连接——学习使用）

# 神经网络实现鸢尾花分类import tensorflow as tfimport numpy as np# 读取数据集from sklearn.datasets import load_irisiris = load_iris()x_data = iris['data']y_data = iris['target']# 使数据集乱序np.random.seed(116)np.random.shuffle(x_data) # 打乱数据np.random.seed(1

2020-11-23 21:18:05 1480

原创 anaconda虚拟环境安装tensorflow2

安装tensorflow21 打开anaconda2 创建虚拟环境 conda create -n tf2.1 python==3.73 激活刚创建的环境 conda activate tf2.14 安装cuda 工具包 conda install cudatoolkit=10.15 安装英伟达深度学习软件包 7.6 版本 conda install cudnn=7.6（如果报错了，可能不支持gpu）可直接安装tensorflow （用cpu 运行小的学习案例）6 安装te

2020-11-23 17:09:30 367

原创个人记录：第一次算法作业（python）

个人记录：第一次算法作业（python）输入一个自然数(<90000), 分别用递归法和非递归法求其二机制表示.算法设计思想：二进制的关键是用除2取余法，定义一个list，将每次的余数存入列表中，最后将列表转化为字符串，然后将字符串逆序输出。代码展示：# 非递归s = []num =int(input(‘请输入一个数：’))while (num > 0) :a= n...

2019-10-23 21:19:33 369

CourageLee的学习库