搬金砖的小白-CSDN博客

原创 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver.

2022-12-19 23:31:52 300

原创【Pytorch】自定义Dataset

本文介绍简单的自定义Dataset，供模板使用

2022-03-04 15:57:23 1136

本文参考自：https://blog.csdn.net/lee_jackgg/article/details/106738878WSL根目录默认在C盘，本文记录修改根目录位置的方法位置：C:\Users\xiaobai\AppData\Local\Packages\CanonicalGroupLimited.UbuntuonWindows_79rhkp1fndgsc1 查看WSL名称和版本C:\Users\xiaobai>wsl -l -v NAME STATE

2021-10-02 20:14:16 4463 2

原创【Linux】WSL的安装

1 Windows系统设置1.1 Windows功能搜索“Windows功能”，勾选“适用于Linux的Windows子系统”1.2 开发者权限2 下载安装在Microsoft Store搜索ubuntu，版本不同，本文安装的第一个3 使用

2021-10-02 19:44:45 365

原创 WSL闪退

原因之前安装过WSL，直接卸载安装后再次打开闪退解决办法命令行中：wslconfig /l # 显示安装列表。wslconfig /u Ubuntu # Ubuntu为列表中的名字，注销子系统再次打开即可：

2021-10-02 19:42:53 3246

原创【PyQt】QVTKRenderWindowInteractor的使用

我的VTK包下没有这个包，但QVTKRenderWindowInteractor可以在下面的包找到：from vtkmodules.qt.QVTKRenderWindowInteractor import QVTKRenderWindowInteractor

2021-07-13 09:06:21 1179

原创 ImportError: cannot import name ‘mesh‘ from ‘stl‘

pip install numpy-stl

2021-07-09 11:44:54 4665 1

原创 flatMap、map、filter简单图解

1 flatMap将一个流中嵌套的元素展开：也可以在这个过程中混合 map 和 filter （这里指“hdfs”转换为“hdfs666”(map)；“hadoop”被过滤掉(filter)）：2 map将一个流中的每个元素都对应转换（每个元素都加上“666”），处理前后元素的类型也可能不同：不同元素的对应转换方式也可能不同（除了“hdfs”加上“666”外，其余加“333”）：3 filter过滤（这里指过滤掉“fuuf”）...

2021-05-06 23:01:01 770

转载 slf4j日志配置

Flink本地运行时需配置slf4j日志，才能在生成日志文件或在控制台输出日志依赖 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.21</version> </dependency&

2021-05-06 21:52:11 621

原创【Hadoop】Hadoop3 MapReduce 基础

文章整理自尚硅谷B站视频：https://www.bilibili.com/video/BV1Qp4y1n7EN?t=7&p=39文章目录一、MapReduce概述1.1 MR核心思想1.2 MR进程1.3 常用数据序列化类型1.4 MR 编程规范1.5 WordCount 案例1.5.1 分析1.5.2 代码1.5.2.1 Mapper1.5.2.2 Reducer1.5.2.3 Driver1.5.2.4 执行二、Hadoop 序列化2.1 序列化概述2.2 自定义序列化步骤2.3 序列化案例

2021-05-06 14:01:31 834

原创【Hadoop】Hadoop3 HDFS 基础

文章整理自尚硅谷B站视频：https://www.bilibili.com/video/BV1Qp4y1n7EN?t=7&p=39文章目录〇、要点一、HDFS 概述1.1 HDFS 的产生背景和定义1.2 HDFS 的优缺点1.3 HDFS 的组成1.4 HDFS 的文件块大小二、HDFS 的 Shell 操作2.1 基本语法2.2 命令大全三、HDFS 的客户端 API四、HDFS 的读写流程4.1 HDFS 写数据流程4.1.1 文件写入4.1.2 网络拓扑 - 节点距离计算4.1.3 机架

2021-04-30 13:16:31 275

原创 chown: changing ownership of ‘/myfile‘: Cannot set owner for /myfile. Name node is in safe mode.

修改文件权限时：日志[hadoop@node102 hadoop]$ hdfs dfs -chown -R hadoop /myfile2chown: changing ownership of '/myfile2': Cannot set owner for /myfile2. Name node is in safe mode.解决办法hadoop 关闭 safemode ：hdfs dfsadmin -safemode leave如需开启：hdfs dfsadmin -safemo

2021-04-29 20:03:42 447

原创 org.apache.hadoop.security.AccessControlException: Permission denied: user=Dell, access=WRITE

Win10 Dell 主机 Java 访问 Linux HDFS 时报错：日志Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Dell, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissio

2021-04-29 19:46:34 1385 1

原创【Hadoop】Hadoop3基础

文章整理自：https://www.bilibili.com/video/BV1Qp4y1n7EN?t=7&p=39文章目录〇、要点一、概念1.1 Hadoop是什么1.2 Hadoop发展历史1.3 Hadoop的三大发行版本1.4 Hadoop的优势1.5 Hadoop的组成1.5.1 HDFS架构概述1.5.2 Yarn架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、Yarn、MapReduce三者的关系1.6 大数据技术生态体系1.7 推荐系统案例二、环境准备2.1 模

2021-04-27 16:20:56 632

原创【Linux】ens33文件配置

更改项BOOTPROTO=static # 开机协议设为静态ONBOOT=yes # 开机启动增加项GATEWAY=192.168.2.1 # 网关，与虚拟机VMnet8中设置的网关一致IPADDR=192.168.2.100 # 设置为想要的固定IP地址，这里是node100，因此设置为了100DNS1=114.114.114.114 # 主DNS1地址，一致即可NETMASK=255.255.255.0 #子网掩码，一致即可ps.更改后reboot重启，使用ifconfig或ip ad

2021-04-24 22:45:19 7362

原创【CSS】Position定位

1 Position的值值说明absolute位置相对于最近的已定位父元素fixed位置相对于浏览器窗口relative位置相对其正常位置static（默认）遵循正常文档流，不受 top、right、bottom、left 影响sticky滚动阈值内为 relative ，滚动阈值外为 fixed2 示例代码<!DOCTYPE html><html lang="en"><head> <met

2021-04-05 11:57:23 118

原创【CSS】Flex布局

整理自：http://www.ruanyifeng.com/blog/2015/07/flex-grammar.html文章目录1 指定Flex布局2 容器的属性2.1 flex-direction2.2 flex-wrap2.3 flex-flow2.4 justify-content2.5 align-items2.6 align-content3 项目的属性3.1 order3.2 flex-grow3.3 flex-shrink3.4 flex-basis3.5 flex3.6 align-sel

2021-03-29 18:06:44 133

原创 jQuery+Servlet 前后端交互

本文介绍了使用jQuery+Servlet实现的简单前后端交互和数据传输1 项目依赖 <dependency> <groupId>javax.servlet</groupId> <artifactId>javax.servlet-api</artifactId> <version>4.0.1</version> <

2021-03-29 16:41:21 528 1

原创【Flink】window入门

文章目录1 项目依赖2 基于时间的滚动窗口和滑动窗口3 基于数量的滚动窗口和滑动窗口4 错误和解决办法1 项目依赖 <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.apache.flink&

2021-03-23 17:21:52 144

原创 CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on ...

日志：Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType<Window.Sugar>Field expressions are only supported on POJO types, tuples, and

2021-03-23 17:20:12 702 1

原创【Flink】Flink连接Kafka

文章目录1 项目依赖1 项目依赖

2021-03-22 19:06:41 1254

原创【Flink】Sink入门

文章目录0 依赖1 预定义sink2 自定义sink0 依赖和这个一样：https://blog.csdn.net/Tiezhu_Wang/article/details/1150495121 预定义sinksink说明ds.print()直接输出到控制台ds.printToErr()直接输出到控制台，红色ds.writeAsText( path, WriteMode.OVERWRITE ).setParallelism(1)输出到path（并行度=1：path

2021-03-21 17:00:28 235

原创【Flink】Transformation入门

文章目录0 项目依赖1 基本操作2 合并3 拆分4 分区4.1 reblance 重平衡分区4.2 其他分区0 项目依赖 <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.apache.fli

2021-03-21 16:37:54 528

原创 javax.net.ssl.SSLException: closing inbound before receiving peer‘s close_notify

?useSSL=false

2021-03-21 12:08:28 198

转载 CSS属性选择器

原文链接：https://www.w3school.com.cn/css/css_attribute_selectors.asp选择器例子例子描述[attribute][target]选择带有 target 属性的所有元素[attribute=value][target=_blank]选择带有 target="_blank" 属性的所有元素[attribute~=value][title~=flower]选择带有包含 “flower” 一词的 title 属性

2021-03-19 13:21:25 119

转载 CSS伪元素

原文链接：https://www.w3school.com.cn/css/css_pseudo_classes.asp选择器例子例子描述::afterp::after在每个 p 元素之后插入内容::beforep::before在每个 p 元素之前插入内容::first-letterp::first-letter选择每个 p 元素的首字母::first-linep::first-line选择每个 p 元素的首行::selectionp::se

2021-03-19 13:09:44 88

转载 CSS伪类

原文链接：https://www.w3school.com.cn/css/css_pseudo_classes.asp选择器例子例子描述:activea:active选择活动的链接:checkedinput:checked选择每个被选中的 input 元素:disabledinput:disabled选择每个被禁用的 input 元素:emptyp:empty选择没有子元素的每个 p 元素:enabledinput:enabled选择每个已

2021-03-19 13:06:58 362

转载常见文件的MIME类型

原文链接：https://blog.csdn.net/kuangshp128/article/details/75207984可以直接复制过去创建一个mime.json文件{ ".323":"text/h323" , ".3gp":"video/3gpp" , ".aab":"application/x-authoware-bin" , ".aam":"application/x-authoware-map" , ".aas":"application/x-authoware-seg

2021-03-19 10:38:36 314

原创【Flink】Source入门

1 预定义Sourceimport org.apache.flink.api.common.RuntimeExecutionMode;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import java.util.Arrays;public class SourceEx

2021-03-18 17:38:47 147

原创 Flink提交时：Could not find a file system implementation for scheme ‘hdfs‘

命令和错误日志：[hadoop@localhost ~]$ flink run -c WordCountSourceDataStreamYarn ~/IdeaProjects/FlinkStudy/target/FlinkStudy-1.0-SNAPSHOT.jar------------------------------------------------------------ The program finished with the following exception:org.ap

2021-03-18 14:26:16 1895

原创【Flink】DataStream入门：WordCount

1 项目依赖我的Scala版本是2.12，这里Flink的依赖要和Scala版本相对应 <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.apache.flink</groupId&gt

2021-03-18 13:15:13 283

原创【HBase】HBase项目：简易微博案例

此文章介绍了Java连接HBase数据库实现的微博案例，以及程序的简单测试。0 前期准备Hadoop安装：https://blog.csdn.net/Tiezhu_Wang/article/details/113860404HBase安装：https://blog.csdn.net/Tiezhu_Wang/article/details/1145748991 HBase数据库表设计需求：发布微博内容在微博内容表中添加一条数据（发布者）在微博内容接收邮件箱表对所有粉丝用户添加数据（订阅者

2021-03-10 18:45:39 1377

原创【HBase】HBase安装与配置

0 前期准备安装Hadoop：https://blog.csdn.net/Tiezhu_Wang/article/details/113860404安装zookeeper：https://blog.csdn.net/Tiezhu_Wang/article/details/1145765061 安装包下载官网下载：https://hbase.apache.org/downloads.html2 解压安装包将安装包上传至虚拟机后（这里放在了~/Downloads/），使用如下命令将安装包解压到/u

2021-03-09 22:58:09 1463

原创【ZooKeeper】ZooKeeper安装与配置

1 下载安装包官网：https://zookeeper.apache.org/releases.html2 解压安装包sudo tar -zxf ~/Downloads/apache-zookeeper-3.6.2-bin.tar.gz -C /usr/local修改文件权限：sudo chown -R hadoop /usr/local/apache-zookeeper-3.6.2-bin/3 配置环境变量vim ~/.bashrc加入如下配置：export ZOOKEEPER_

2021-03-09 10:25:56 329

原创【Hadoop】主机访问虚拟机HDFS（Java）

0 前期准备关闭防火墙：https://blog.csdn.net/Tiezhu_Wang/article/details/113861262设置固定IP：https://blog.csdn.net/Tiezhu_Wang/article/details/1138223621 修改配置文件1.1 core-site.xmlgedit /usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml将fs.defaultFS的值修改为虚拟机的IP+端口：<

2021-02-21 16:13:56 2267

转载【Hadoop】Hadoop Shell命令

官方文档http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

2021-02-21 11:05:09 145

原创【Linux】Linux关闭防火墙（Cent OS 7）

systemctl stop firewalld.service # 关闭firewallsystemctl disable firewalld.service # 禁止firewall开机启动

2021-02-19 12:26:13 443

原创【Hadoop】Hadoop安装与配置（伪分布式）

0 前期准备Linux的Java环境配置：https://blog.csdn.net/Tiezhu_Wang/article/details/1138229491 下载官网：https://hadoop.apache.org/releases.html或百度云：链接：https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A （提取码：xysm）2 安装将hadoop安装到/usr/local目录下：sudo tar -zxf ~/Downloads/h

2021-02-19 12:23:56 1019

空空如也

空空如也