RuiClear-CSDN博客

原创基于docker从零手动搭hadoop分布式集群（超详细亲测有效）

一、目的：仓库中现成的hadoop集群镜像都是一键部署，对于刚学习大数据的同学非常不友好，新手还是需要手动自己搭建集群，这样才能更深入的理解和学习hadoop。考虑到虚拟机太浪费资源，网上搜索到的都是一键式搭建集群的镜像，所以无奈之下就只能自己动手基于docker搭建hadoop分布式集群二、步骤（如果不想麻烦可以直接跳到第4步）环境准备本机下载并按照好docker环境拉取docker centos镜像下载liunx版本jdk压缩包，最好是1.8下载hadoop源码然后编译成源文件，也可以

2020-06-14 21:56:41 959 2

原创记一此写入HDFS时的报错: org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_

问题：写入HDFS时报错：org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /data/log for DESClient_NONMAPPERDUCE_1129064282_1 on 10.43.42.24 bacause this file lease is currently owned by Client_NONMAP...

2019-06-16 16:35:25 1183 2

原创 matplotlib画多个子图

画图

2022-08-24 17:43:29 612 1

原创通用搜索引擎体系

通用搜索引擎体系

2022-08-21 20:26:43 585

原创现代搜索推荐算法的统一套路

搜索推荐系统套路思考

2022-08-21 16:46:30 160

原创机器学习数据特征归一化和标准化

数据特征处理方法

2022-08-20 15:20:54 676

原创 tensorflow单独添加激活函数

直接上代码from tensorflow.python.keras import activationsout = activations.get('sigmod')(embedding)

2022-05-23 16:18:57 139

原创 gerrit push (change closed)解决办法

出现原因：gerrit上一个change的已经关闭了，这时候从其他分支merge进来的内容没有commit成一个新的提交点，没有生成新的changeId,继续沿用上一个提交changId解决方法：git checkout -b 新分支git merge --squash 需要合并的分支git commit -m 'xxx'git push origin HEAD:refs/for/test...

2020-11-02 14:07:35 3988

原创 springboot配合自定义注解实现轻量级权限验证

案例一：定义权限注解：/** * 角色的权限验证注解 * * 被注解的方法必须满足指定的权限才能通过验证，如果有多个权限取 & 关系 * @author ruiclear * @date 2020-08-12 18:19 */@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)public @interface RoleAuthVerification { /** * 权限

2020-08-19 19:03:59 218

原创 @JsonSerialize和@JsonDeserialize注解详解

背景：前端传输一个JsonArray到后端，我需要变成json 字符串存入数据库；在查询的时候我需要从数据库查询出来然后返回给前端一个jsonArray。如果用传统方式需要复杂的特殊处理，spring提供了JsonSerialize和JsonDeserialize注解来优雅的解决这个问题步骤定义序列化和反序列化处理对象import com.fasterxml.jackson.core.JsonGenerator;import com.fasterxml.jackson.core.JsonPr.

2020-07-30 19:03:21 5545

原创 Reducer方法动态分组原理

背景：我们自己写的reduce方法要继承Reducer<Text, Text, Text, Text>，自定义的reduce方法中相同key的只会进入一次reduce，通过value迭代value。但是实际上框架并没有一次性把相同的key提前归类到一个组中，而是在程序运行的过程中一个kv对一个kv依次读取的并在顺序读的工程中实现了动态分组的功能，实现原理：调用reduce方法的地方是://org.apache.hadoop.mapreduce.Reducer#runpublic vo

2020-07-12 10:08:35 432

原创利用zk模拟dubbo等分布式调用系统动态感知服务上下线功能

模拟上游服务上下线操作package com.ruiclear.test.zookeeper;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.ZooDefs;import org.apache.zookeeper.ZooKeeper;import org.apache.zookeeper.data.ACL;import java.util.List;import java.util.Random;.

2020-05-21 18:06:00 368

原创解决读取jar包中的文件遇到的URI is not hierarchical 问题

File f = new File(this.getClass().getResource(“路径/目录”).toURI()); 只适合于要读取的文件在文件夹中，如果要读取的文件在jar中，就会报错：java.lang.IllegalArgumentException: URI is not hierarchical原因：jar包中的文件不能通过这种方式读取，因为目录是不透明的解决方法：InPutStream in = this.getClass().getResourceAsStream("路径/目

2020-05-19 12:10:14 11626 1

RuiClear的博客