- 博客(8)
- 收藏
- 关注
RSS订阅原创 mysql查询值为nul的数据
不要把空值和数字0或空格混淆，它应该被看做是一个遗漏的值，一个空值不能等于另一个空值，因此两个空值不能互相等同，但是它们又并非不等。对于null,它有专门的语法来处理，is null 或者 is not null。这样查询查不到gender为null的数据。需要单独告知查询is null。想要查mysql数据库中某一列值为null的数据，写出如下sql语句。先了解下null：未知的值，未显示的值。为什么为什么为什么？这东西相关的还有in查询。
2023-04-04 19:38:09
463
原创 Data truncated for column ‘age‘ at row 1
修改数据库表的某列为枚举类型&&Data truncated for column 'age' at row 1
2023-02-02 15:16:54
560
原创 MapReduce中的切片问题
MapReduce中的切片问题先看一张图，MapReduce的数据流输入的数据在分配给MapTask之前会被切片，数据切片是在逻辑上对数据进行分片。物理上并没有发生变化。有多少切片就有多少MapTask。hadoop的HDFS把数据在物理上分块（block）存储，那么分块和切片之间是什么关系呢？数据块：Block是HDFS物理上把数据分成一块一块。数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。1、TextInputFormat切片机制系统默认的切片机制，切
2021-04-18 16:00:12
511
原创 Mapreduce初识
Mapreduce详解定义：MapReduce是一个分布式的计算框架。其核心功能是将用户编写的业务逻辑代码与其自带默认组件组合成一个完整的分布式计算程序。通过定义，完全不知道它是干嘛的。我们说人话，MapReduce的过程简单点可以说成将数据按照一定的规则分片（英文叫split），然后把这些数据切片分发给不同的map,map这些打工人就按照既定的逻辑对数据进行处理，处理完之后就输出，然后这些数据经过一系列类似于上车下车转乘的操作，这些数据被reduce拿到了。reduce把这些数据按照一定的规则进行汇总
2021-04-18 09:19:44
135
原创 2021-04-13
运行一个mapreduce程序时报错：java.lang.Exception: java.lang.NumberFormatException: For input string: “”分析原因：在把 String 转 int或者long 时，当 String 有空格 会报这个错误。这个异常一般出现在String 转 int 或者 integer 过程中。然后我把数据整理了以下就没问题了。（所以一定要注意数据清洗）...
2021-04-13 08:50:29
40
原创 Hadoop伪分布式
Hadoop伪分布式Hadoop有三种运行模式，本地模式，伪分布式模式和完全分布式模式。前面做了Hadoop安装，Hadoop安装好了其实就是本地模式了。这种情况下可以试着玩一下官方的案例，比如WorldCount,具体怎么玩可以找找别的博客。关于Hadoop集群的搭建，其实Hadoop文档的官网就有，很多文件的功能都写的很清楚，感兴趣可以看看。今天记录一下搭建一个伪分布式的过程。前提条件：Hadoop已经安装在虚拟机上，Java JDK也安装了。这个之前有记录过。这不是有手就行？HDFS配置我
2021-04-11 21:18:46
94
原创 hadoop安装
配置一个完全分布式的Hadoop集群1.首先我们需要准备三台虚拟机，我这里将它们命名为hadoop102,hadoop103,hadoop104。2.在虚拟机上安装jdk1.8,请认准JDK1.8,因为我们的Hadoop好像还不支持更高版本JDK。注意：查看虚拟机是否已经安装了Java软件，如果安装了，卸掉。3.搞定以上内容就开始安装jdk,...
2021-04-08 16:09:45
1033
原创 ssh免密登入配置
ssh免密登入配置1.首先准备两台虚拟机（我这里分别给这两台虚拟机，命名hadoop102和hadoop103）2.使用命令生成公钥和私钥：ssh-keygen -t rsa这里不用任何输入，敲三次回车就行。3.看一下做完如上操作发生了什么：cd /root/.ssh公钥和私钥就生成了4.把公钥复制给Hadoop103：ssh-copy-id hadoop103（hadoop103处可以用hadoop103的IP地址）进入hadoop102的/root/.ssh文件下发现多了一个文件kn
2021-04-08 11:25:54
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人