- 博客(67)
- 收藏
- 关注
RSS订阅
原创 手把手CentOS搭建Apache Hadoop 包含各种组件 非常干货
一、CentOS安装1.1 用Hyper-V安装CentOS7CentOS镜像：CentOS-7-x86_64-DVD-2009下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2
2021-08-12 09:56:55
1982
原创 talentKV分布式事务训练营 2PC +Percolator
1. 设计transaction layer需要保证事务的原子性，隔离性（并发下还能正确执行）采用Precolator Protocol来保证事务的原子性，并采用全局时间戳对并发事务进行排序。给客户端提供Snapshot Isolation(快照隔离)或 Repeatable Read(可重复读)可以为客户端提供强隔离级别。tinyKV和tinysql中都实现了precolator 协议，tinyschedule会给事务加上全局单调递增时间戳。在本lab中，需要事先tinykv的peocolator。
2022-05-05 13:39:31
1758
原创 Git pull后Goland左侧project下不显示项目目录
在project files目录下，删除./idea文件，并重启goland即可。
2022-04-08 14:31:38
2316
1
原创 代理模式与Spring动态代理
一 代理 Proxy代理在我们的生活中无处不在。例如小周忙于工作，把找对象委托给“婚恋中介”，异或是将游戏委托给“游戏代练”，让“钟点工”帮忙打扫房子。以上出现的“婚恋中介”，“游戏代练”，“钟点工”都是某种意义上的代理。代理的好处是帮助你做一些你不想做或者不能做的事情。例如，你没有时间自己去认识美丽女孩儿????????，你自己不想清理脏脏的马桶????，有了代理，你可以委托他们来帮你做这样的事情。在实际项目中，代理的作用是什么呢？ 同样，在客户端不想或不能直接引用一个对象时，代理可以帮助其间接地去
2022-01-18 16:55:54
773
3
原创 @RequestParam和@RequestBody注意事项
@RequestParam可以逐一接收参数，因此代表参数是有顺序的，1号参数为masterName, 2号参数为targetAdd, 3号参数为role，4号参数为cni。因此@RequestParam只能接收表单数据，在postman中请求体只能为form-data和x-www-form-unlencoded但如果前端传来的参数为Content-type: application/json该如何处理呢？@RequestBodyRequestBody可以接收json组成的复杂对象，可以为此新建一
2021-11-25 16:00:59
887
原创 【报错】required string parameter ‘XXX‘is not present
报错原因是后端没有收到对应参数。可以在@RequestParam（value = ‘’, requried = false）Postman检查
2021-11-25 11:40:57
1277
原创 Node Sass does not yet support your current environment: OS X 64-bit with Unsupported runtime (83)
记一次npm报错报错内容 Node Sass does not yet support your current environment: OS X 64-bit with Unsupported runtime (83)For more information on which environments are supported please see:https://github.com/sass/node-sass/releases/tag/v4.13.1前往报错信息让我去的网址看了看，
2021-11-16 19:54:45
1298
原创 记一次TypeReference报错 ClassNotFoundException:
报错信息java.lang.ClassNotFoundException: com.alibaba.fastjson.TypeReference首先我去MVNRepository里面找到 fastjson包引入到common服务依赖里面但还是报错后来在Project Structure里面，发现search服务的依赖还分Complie、Runtime、Test等，我的fastjson作用域是Test, 我修改成Complie之后就可以正常使用了。...
2021-10-26 10:51:22
1412
1
原创 macos m1安装elasticsearch kibana arm64v8
# docker pull arm64v8/elasticsearch:7.14.1# docker pull arm64v8/kibana7.14.1如果出现【报错】: Error response from daemon: manifest for arm64v8/elasticsearch:latest not found: manifest unknown: manifest unknown代表没有加版本号，记住要加版本号。启动esdocker run -d --name elasti
2021-09-13 20:34:10
1066
原创 Hive查询显示全为null
文件的分割符与表的分隔符一定要一致。dept.txt中字段用空格分割的，则terminated by ‘ ’。如果按\t就会全部显示null。
2021-09-10 17:05:28
742
原创 悄悄告诉大家一个pd17免费使用无限进linux的方法m1
安装好ParellesDesktop后进linux，在终端输入prlctl start "Hadoop100"其中Hadoop100是我的虚拟机名称，如果你的是windows10，输入windows10就行。学习开发使用，等有钱了肯定买正版额，希望pd爸爸不要生我的气。...
2021-08-30 15:10:34
3538
2
原创 hbase测试api时出现unknown hosts解决办法
查了很多帖子都说是我没有配hosts, 可我的5台inux明明都配hosts了的呀。折腾了好久还是2021-08-27 17:33:05,023 WARN [org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper] - Unable to create ZooKeeper Connectionjava.net.UnknownHostException: hadoop01我以为是我的虚拟在服务器上，我采用的是NAT模式。于是花了老半天采用桥接，
2021-08-27 17:36:23
520
原创 重启服务器后datanode和namenode启动不起来
重启服务器后1.启动zookeeper2.删除 rm -rf /opt/hadoop/journaldata/*3.删除 rm -rf /opt/hadoop/tmp/*java.io.IOException: Incompatible clusterIDs in /opt/hadoop/tmp/dfs/data: namenode clusterID = CID-3659e289-d0ed-4296-8ae7-09cbebe555f6; datanode clusterID = CID-f8
2021-08-27 13:35:09
346
原创 hbase启动马上挂掉，端口报错500，Hmaster ABORTED
【报错1】：java.lang.RuntimeException: HMaster Abortedat org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:261)at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:149)at org.apache.hadoop.util.
2021-08-26 13:05:39
1368
1
原创 log4j:WARN No appenders could be found for logger
没有配置log4j文件。【解决方案】：在resources中新建file，名称为【log4j.properties】内容为log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern
2021-08-25 15:13:29
479
原创 CentOS搭建集群各组件版本推荐
附录1 组件版本汇总组件名称版本端口CentOSCentOS-788-92JDKJDK1.8.0MySQL8.03306Apache Hadoop2.10.1Zookeeper3.7.02181Hbase2.2.716010/16030Hive2.3.6Kafka2.6.2Spark3.1.28080Flume1.9.0Elasticsearch6.4.39200Flink
2021-08-20 16:09:46
159
原创 Zookeeper安装
六、配置zookeeper在opt目录下下载并解压zookeeper# cd /opt# wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz# tar -zxvf zookeeper-3.4.9.tar.gz将解压文件zookeeper-3.4.9改名为zookeeper# mv zookeeper-3.4.9 zookeeper在zookeeper新建tmp和log用来
2021-08-20 16:08:33
128
转载 MySQL8安装
9.1 mysql8安装 # cd /opt9.1.1 安装MySQL Server因为CentOS 7默认安装的数据库是Mariadb,所以使用YUM命令是无法安装MySQL的，只会更新Mariadb。因此使用rpm来进行安装。这里，我们使用国内的清华大小的镜像源安装，地址：清华大学开源镜像源添加国内安装源并安装切换目录，如果没有，需新建：下载：# wget http://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community
2021-08-20 16:08:02
190
原创 Hbase高可用集群搭建
9.2 HBASE安装9.2.1 下载hbase # cd /opt # wget https://mirrors.cloud.tencent.com/apache/hbase/2.2.7/hbase-2.2.7-bin.tar.gz # tar -zxvf hbase-2.2.7-bin.tar.gz 9.2.2 配置环境变量# vi /etc/profile加入如下配置export HBASE_HOME=/opt/hbase-2.2.7export PATH=$HBASE_HOME
2021-08-20 16:06:05
304
原创 Kafka高可用集群搭建
9.3 Kafka安装9.3.1 下载kafka# cd /opt# wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.2/kafka_2.13-2.6.2.tgz# tar -zxvf kafka_2.13-2.6.2.tgz # mv kafka_2.13-2.6.2 kafka9.3.2 启动ZKKafka使用ZooKeeper，所以要先启动一个ZooKeeper服务器。9.3.3 KAFKA基本配置Kafka在c
2021-08-20 16:04:39
211
原创 Spark高可用集群搭建
9.4 Spark安装9.4.1 下载spark去官网https://spark.apache.org/downloads.html查找合适的版本，这里选用【spark-3.1.2-bin-hadoop2.7.tgz】进行创建目录、下载、解压、改名四连操作# cd /opt# wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz# tar -zxvf spark-3.1
2021-08-20 16:04:04
406
原创 Flume高可用集群搭建
9.5 Flume 安装9.5.1 flume下载# cd /opt# wget https://mirrors.huaweicloud.com/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz# tar -zxvf apache-flume-1.9.0-bin.tar.gz # mv apache-flume-1.9.0-bin/ flume删除lib/guava-11.0.2.jar 防止不兼容# cd /opt/flume/lib# r
2021-08-20 16:03:11
497
原创 Flink高可用集群搭建
9.7 Flink安装9.7.1 下载与hadoop2.10.1兼容的flink版本为flink 1.10.0# cd /opt# wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.4/flink-1.11.4-bin-scala_2.11.tgz# tar -zxf flink-1.11.4-bin-scala_2.11.tgz # mv flink-1.11.4 flink9.7.2 修改环境变量# vi
2021-08-20 16:01:45
419
原创 Elasticsearch高可用集群搭建
9.6 Elasticsearch安装9.6.1 下载elasticsearch# cd /opt# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz# tar -zxf elasticsearch-6.4.3.tar.gz# mv elasticsearch-6.4.3/ elasticsearch9.6.2 修改elasticsearch配置文件# cd /opt/el
2021-08-20 16:01:19
492
原创 群起脚本 批量启动kafka 查看服务
10.1 群起脚本批量查看服务 jps执行# cd /usr/local/bin# vi xcall.sh写入#!/bin/bashcase $1 in"jps"){ for i in hadoop01 hadoop02 hadoop03 hadoop04 hadoop05 do echo "-------------$i---------------" ssh $i jps done};;esac在【所有机器】建立软连接# cd /usr/local/bin#
2021-08-20 16:00:02
159
原创 mac m1芯片在虚拟机上安装docker
centos 8 安装docker参考这里mac版m1 记得选择aarch64的https://download.docker.com/linux/centos/8/aarch64/edge/Packages/
2021-08-13 13:28:02
612
原创 yum没有被启用的仓库
查看yum仓库，发现是自带的没有可用的yum repolist all需要更换新的镜像，备份并下载新的镜像# cd /etc/yum.repos.d# mkdir bak# mv *.repo bak# wget http://mirrors.aliyun.com/repo/Centos-8.repo# yum clean all# yum makecache现在可以用yum下载其他依赖啦...
2021-08-13 13:27:42
28349
7
原创 剑指offer67：字符串中的整数
题目描述首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假如第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。该字符串除了有效的整数部分之后也可能会存在多余的字符，这些字符可以被忽略，它们对于函数不应该造成影响。注意：假如该字符串中的第一个非空格字符不是一个有效整数字符、字符串为空或字符串仅包含空白字符时，...
2021-08-13 13:27:28
159
原创 剑指offer68-II: 二叉树的最近公共祖先
题目描述给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。百度百科中最近公共祖先的定义为：“对于有根树 T 的两个结点 p、q，最近公共祖先表示为一个结点 x，满足 x 是 p、q 的祖先且 x 的深度尽可能大（一个节点也可以是它自己的祖先）。”例如，给定如下二叉树: root = [3,5,1,6,2,0,8,null,null,7,4]来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/er-cha-shu-de-z
2021-08-13 13:27:03
146
原创 剑指offer68-I: 二叉搜索树最小公共祖先
剑指offer68-I: 二叉搜索树最小公共祖先 题目描述给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。百度百科中最近公共祖先的定义为：“对于有根树 T 的两个结点 p、q，最近公共祖先表示为一个结点 x，满足 x 是 p、q 的祖先且 x 的深度尽可能大（一个节点也可以是它自己的祖先）。”例如，给定如下二叉搜索树: root = [6,2,8,0,4,7,9,null,null,3,5]来源：力扣（LeetCode）链接：https://le...
2021-08-13 13:26:38
147
原创 m1芯片下linux/arm64/v8利用docker配置mysql
报错信息：no matching manifest for linux/arm64/v8 in the manifest list entries解决方案linux/arm64/v8利用docker配置mysql时出现# docker pull mysql/mysql-server# docker run -itd --name 【这里为你的容器名字， 例如 neon-container】 -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql/mysq
2021-08-13 13:26:02
3113
原创 剑指offer 04: 二维数组中的查找
题目描述在一个 n * m 的二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个高效的函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/er-wei-shu-zu-zhong-de-cha-zhao-lcof著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。题目分析在右上角看，矩阵可以看作一棵二叉搜索树BST。
2021-08-12 10:15:35
86
原创 程序员面试金典 01.07. 旋转矩阵
题目描述给你一幅由 N × N 矩阵表示的图像，其中每个像素的大小为 4 字节。请你设计一种算法，将图像旋转 90 度。不占用额外内存空间能否做到？模拟图解想起一个被困雪山的鬼故事，故事内容和图解也很像，1、2、3、4四位主人公被困在雪山木屋里，需要有一个人醒着守夜等待救援。守夜完成的4，去1的位置叫醒1，让1换岗守夜；守夜完成的1，去2的位置叫醒2，让2换岗守夜；守夜完成的2，去3的位置叫醒3，让3换岗守夜；守夜完成的3，去4的位置叫醒“4”，让4换岗守夜；按照这样的规则，守夜轮回了
2021-08-12 10:15:03
189
原创 剑指 Offer 35. 复杂链表的复制
题目描述方法1：原链表复制拆解解题思路一次遍历: 复制各节点二次遍历：构造相同random引用三次遍历：拆解成两个链表代码/*// Definition for a Node.class Node { int val; Node next; Node random; public Node(int val) { this.val = val; this.next = null; this.rando
2021-08-12 10:14:27
65
原创 LeetCode 93: 复原IP地址
题目描述给定一个只包含数字的字符串，用以表示一个 IP 地址，返回所有可能从 s 获得的 有效 IP 地址 。你可以按任何顺序返回答案。有效 IP 地址 正好由四个整数（每个整数位于 0 到 255 之间组成，且不能含有前导 0），整数之间用 ‘.’ 分隔。例如：“0.1.2.201” 和 “192.168.1.1” 是 有效 IP 地址，但是 “0.011.255.245”、“192.168.1.312” 和 “192.168@1.1” 是 无效 IP 地址。来源：力扣（LeetCode）链接：
2021-08-12 10:13:54
186
原创 LeetCode 337: 打家劫舍III
题目描述在上次打劫完一条街道之后和一圈房屋后，小偷又发现了一个新的可行窃的地区。这个地区只有一个入口，我们称之为“根”。 除了“根”之外，每栋房子有且只有一个“父“房子与之相连。一番侦察之后，聪明的小偷意识到“这个地方的所有房屋的排列类似于一棵二叉树”。 如果两个直接相连的房子在同一天晚上被打劫，房屋将自动报警。计算在不触动警报的情况下，小偷一晚能够盗取的最高金额。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/house-robber-iii
2021-08-12 10:12:26
131
原创 LeetCode 377: 组合总数IV
题目描述给你一个由 不同 整数组成的数组 nums ，和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。题目数据保证答案符合 32 位整数范围。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/combination-sum-iv著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。题目分析此题和爬楼梯很相似，用nums中的元素，组成target - num。这种组合有多少
2021-08-12 10:11:35
111
原创 LeetCode 494: 目标和
题目描述给定一个非负整数数组，a1, a2, …, an, 和一个目标数，S。现在你有两个符号 + 和 -。对于数组中的任意一个整数，你都可以从 + 或 -中选择一个符号添加在前面。返回可以使最终数组和为目标数 S 的所有添加符号的方法数。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/target-sum著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。题目分析
2021-08-12 10:10:49
114
原创 LeetCode 153： 寻找旋转排序数组中的最小值
题目描述1.题目分析数组可以按旋转点为分界线分为左右两部分，如：[4,5,6,0,1,2,3] = [4,5,6] + [0,1,2,3]数组A：[4,5,6]; 数组B：[0,1,2,3]· 注意本题为各不相同于是我们便可以分两种情况讨论：** ①mid指在数组A，②mid指在数组B。**1.1 情况①： A B [4, 5, 6] + [0,1,2,3] ↑ ↑ ↑
2021-08-12 10:10:13
248
原创 LeetCode33: 搜索旋转排序数组
1. 题目描述2. 题目分析这道题与那道【LeetCode 153. 寻找旋转排序数组】中的最小值的区别在于，找最小值只可能在B数组中去寻找，right一定指向B中元素，而本体为搜索元素，right和left都有可能在A或者在B中，于是分类便复杂了很多。三个指针的相对关系如何确定呢，我们需要先定下一个，然后确定其他两个。2.1 情况①: left在数组A中时，即nums[left] > nums[right]情况2.1.1 nums[left] <= target <= num
2021-08-12 10:09:06
132
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人