weixin_46307478的博客

原创 OpenDataCube安装教程（二）——DataCube安装配置

二、OpenDataCube的安装教程：Ubuntu — Open Data Cube 1.8-FIXME documentation (datacube-core.readthedocs.io)依赖环境：PostgreSQL 9.5+Python 3.6+1.依赖环境安装（不同系统，依赖名称可能不同）提示：官网给的是针对Ubuntu的，自己是在Centos上，名称不太一样，故不确定安装的依赖是否正确，建议能安装的都安装上。yum install -y \ autoco

原创 OpenDataCube安装教程（一）——依赖环境安装

一.OpenDataCube依赖环境的安装1.miniconda安装借助miniconda安装python，便于多种Python环境的管理。1）下载最新版本的mincondawget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh注意：若提示wget命令不存在，执行 yum install wget -y 安装即可2）安装miniconda[root@son

转载 Linux环境变量配置方法与加载顺序

Linux环境变量配置方法与加载顺序

原创 乐观锁、悲观锁、分布式锁的总结

乐观锁、悲观锁、分布式锁

原创 Hadoop系列（四）——Zookeeper总结

zookeeper

原创 Hadoop系列（三）——MapReudce总结

Mapreduce

原创 Hadoop系列（二）——YARN总结

YARN

原创 Hadoop系列（一）——HDFS总结

HDFS

原创 B-树与B+树的理解总结

B-树与B+树

原创 19 MySQL

MySQL

原创 Redis的单机与三种集群模式，如何保证Redis高并发、高可用

一、 如何保证 Redis 的高并发？​ Redis 通过主从集群架构，实现读写分离，主节点负责写，并将数据同步给其他从节点，从节点负责读，从而实现高并发。如何保证Redis的高并发 - __Meng - 博客园 (cnblogs.com)单机Redis的问题：​ 单机的redis几乎不太可能说QPS超过10万+，一般在几万。除非一些特殊情况，比如你的机器性能特别好，配置特别高，物理机，维护做的特别好，而且你的整体的操作不是太复杂。单机Redis易成为高并发的瓶颈！主从架构的Re

原创 Redis缓存三大问题以及解决方案

Redis缓存三大问题以及解决方案？缓存穿透缓存雪崩缓存击穿redis(五)-缓存三大问题及解决方案_haoxin963的博客-CSDN博客_redis三大问题看完这篇Redis缓存三大问题，保你能和面试官互扯。 - 简书 (jianshu.com)1. 缓存穿透：查询数据不存在​ 业务系统要查询的数据根本就存在！当业务系统发起查询时，按照上述流程，首先会前往缓存中查询，由于缓存中不存在，然后再前往数据库中查询。由于该数据压根就不存在，因此数据库也返回空。这就是缓存穿透。综上

原创 数据库分类与数据库基本原则（ACID、CAP、BASE）

分布式系统中ACID和CAP有什么区别 - 知乎 (zhihu.com)关系型数据库遵循ACID规则 && NoSQL 数据库BASE CAP - 玲汐 - 博客园 (cnblogs.com)分布式系统设计时，遵循CAP原则_alpha_2017的博客-CSDN博客1、数据库与数据库规则1.1 数据库1）关系型数据库SQL：​ 传统的SQL数据库的事务通常都是支持ACID的强事务机制关系型数据库：- 高度组织化结构化数据- 结构化查询语言（SQL） (SQL)-.

原创 KMP算法之next数组计算详细解析

KMP算法相比BF算法的改进：每当一趟匹配过程中出现字符比较不等时，无需回溯i指针（即无需将i指针完全退回至i-j+1），而是利用已经得到的“部分匹配”的结果将模式向右“滑动”尽可能远的一段距离后，继续进行比较。需要解决的问题：当主串中的第i个字符与模式中第j个字符比较不相等时，主串中第i个字符（i指针不回溯）应与模式中哪个字符再比较？----假设从主串中第i个字符与模式中的第k个字符再进行比较它是则呢样来消除回溯的呢？就是因为它提取并运用了加速匹配的信息！　　这种信息就是对于每模式串 t 的每个

原创 Java集合——数据结构

Java集合——数据结构https://blog.csdn.net/bj_chengrong/article/details/108667887https://binhao.blog.csdn.net/article/details/113279914https://www.cnblogs.com/paddix/p/5539326.html1.集合简介​ Java中集合类是Java编程中使用最频繁、最方便的类。集合类作为容器类可以存储任何类型的数据，当然也可以结合泛型存储指定的类型（不过泛型

原创 JVM内存模型、相关参数设置与命令查看

JVM内存模型、相关参数设置与命令查看JVM内存模型，你看这一篇就够了 - 知乎 (zhihu.com)Java虚拟机—Java8内存模型JVM（整理版） - 牧梦者 - 博客园 (cnblogs.com)JVM入门——JVM内存结构 - 那股泥石流 - 博客园 (cnblogs.com)JVM参数调优总结 -Xms -Xmx -Xmn -Xss_jakeswang的博客-CSDN博客_xms xmxJVM的垃圾回收机制——垃圾回收算法 - 知乎 (zhihu.com)元空间与直接内存的关系_

原创 Alluxio架构、场景与部分配置参数详解

Alluxio架构、场景与部分配置参数Alluxio：架构及数据流 - 简书 (jianshu.com)Alluxio-基于内存的虚拟分布式存储系统_机器爱上学习的博客-CSDN博客_alluxio1 架构1.1 概述​ Alluxio作为大数据和机器学习生态系统中的一个新的数据访问层，配置在任何持久性存储系统(如Amazon S3、Microsoft Azure对象存储、Apache HDFS或OpenStack Swift)和计算框架(如Apache Spark、Presto或Had

原创 Linux扩充虚拟内存（swap）

Linux扩充虚拟内存（swap）虚拟内存swap一般设置为物理内存的2倍即可，多了也是浪费硬盘。(base) [mca@clu08 bin]$ free -m total used free shared buff/cache availableMem: 7809 5995 954 11 859 1496Swap:

原创 通过Python Client访问Alluxio

通过Python Client访问AlluxioPython Client - Alluxio v2.6.2 (stable) Documentation详细用法：Alluxio Python API v0.1.1 — Alluxio Python API 0.1.1 documentation (alluxio-py.readthedocs.io)Alluxio 有一个 Python 客户端，这个客户端提供了 REST API 来和 Alluxio 交互。它提供了一个和 Alluxio J

原创 三、对内存的操作（包括free、top、ps等命令与内存爆了的排查方式）

三、对内存的操作free命令[root@IOServer-SSD /]# free -m total used free shared buffers cachedMem: 32148 27725 4423 0 1126 25213-/+ buffers/cache: 1385 30763Swap: 65535

原创 二、对磁盘的操作（包括mount、df、du、fdisk等命令）

二、对磁盘的操作Linux 磁盘与磁盘分区 - sparkdev - 博客园 (cnblogs.com)磁盘设备在 Linux 下的表示方法在 Linux 系统中磁盘设备文件的命名规则为：主设备号 + 次设备号 + 磁盘分区号对于目前常见的磁盘，一般表示为：sd[a-z]x主设备号代表设备的类型，相同的主设备号表示同类型的设备。当前常见磁盘的主设备号为 sd。次设备号代表同类设备中的序号，用 “a-z” 表示。比如 /dev/sda 表示第一块磁盘，/dev/sdb 表示第二块磁盘。x

原创 一、Linux的存储——内存、虚拟内存、硬盘等

一、Linux的存储——内存、虚拟内存、硬盘Linux 内存机制以及CPU、内存、硬盘的关系、物理内存以及虚拟内存的关系_low5252的博客-CSDN博客_linux 磁盘和内存Linux 内存与磁盘_万水千山走过的博客-CSDN博客_linux内存和硬盘区别CPUCPU即中央处理器，是英语“Central Processing Unit”的缩写。CPU从内存或缓存中取出指令，放入指令寄存器，并对指令译码分解成一系列的微操作，然后发出各种控制命令，执行微操作系列，从而完成一条指令的执行。存

原创 JavaScript

前端三要素：HTML（结构）：超文本标记语言，Hyper Text Markup Language，决定网页的结构和内容。CSS（表现）：层叠样式表，Cascading Style Sheets，设定网页的表现样式。针对CSS的编程语言：LESS、SASSJavaScript（行为）：是一种弱类型脚本语言，其源代码不需要经过编译，而是由浏览器解释运行，用于控制网页的行为。JQuery是一个库，Angular、React、Vue是三大框架。[外链图片转存失败,源站可能有防盗链

原创 分布式集群环境中数据库访问超时的一个可能原因

最最基础简单的一个问题，由于之前没注意到，困扰好久，记下来警醒自己！！分布式集群环境下一定要注意在集群中统一各个节点的时间！！！！！如果各个节点间时间不统一，后续可能出现数据库访问超时等问题。先把简单步骤放上：# 安装ntpsudo yum install ntp -y# 与指定服务器同步时间sudo ntpdate 0.asia.pool.ntp.org# 最后执行如下命令将系统时间同步到硬件，防止系统重启后时间被还原。sudo hwclock --systohc详细记录下一下我

转载 Alluxio架构与数据流

Alluxio架构与数据流Alluxio：架构及数据流 - 简书 (jianshu.com)1 架构1.1 概述​ Alluxio作为大数据和机器学习生态系统中的一个新的数据访问层，配置在任何持久性存储系统(如Amazon S3、Microsoft Azure对象存储、Apache HDFS或OpenStack Swift)和计算框架(如Apache Spark、Presto或Hadoop MapReduce)之间。**请注意，Alluxio不是一个持久化存储系统。**使用Alluxio作

原创 python使用Redis（主要针对hash数据结构）

python操作hash哈希# 连接redis import redis host = '172.16.200.49'port = 6379 pool = redis.ConnectionPool(host=host, port=port) r = redis.Redis(connection_pool=pool)1）hset(name, key, value)# name对应的hash中设置一个键值对（不存在，则创建；否则，修改） # 参数： # name，redi

原创 Office卸载不干净，注册表项权限修改后仍然无法删除的问题

Office卸载不干净，注册表项权限修改后仍然无法删除的问题针对卸载Office最极端的情况，试试以下方法。1.卸载开始菜单的office;可以借助以下工具进行进行清除，完全卸载（但是对本人无效）链接：https://pan.baidu.com/s/1C2TcHIoDTfjxDwO2BEtqsA提取码：d0nc2.删掉安装目录下的office文件夹；3.删掉注册表项中的HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft 和HKEY_CURRENT_USER\SOFTWA

原创 CSS笔记

CSSHTML + CSS + JavaScript结构 + 表现 + 交互如何学习?CSS 是什么CSS 怎么用（快速入门）CSS选择器（重点+难点）美化网页（文字，阴影，超链接，列表，渐变…）盒子模型浮动定位网页动画1. CSS简介1.1 什么是CSSCascading Style Sheet 层叠级联样式表CSS：表现（美化网页）字体、颜色、边距、高度、宽度、背景图片、网页定位、网页浮动…网站F12，开发者工具1.2 发展史CSS1.0CSS2.0 D

原创 HTML笔记

HTML1.初识HTMLHTMLHyper Text Markup Language(超文本标记语言)超文本包括文字、图片、视频、音频、动画等。现在用的是HTML5。ECMScript是JavaScript需要遵守的规范面试可能问到的问题：W3C是什么W3C标准包括什么前端的最常用的IDE：WebStorm2.网页基本信息注释：<!--DOCTYPE：(文档类型)告诉浏览器，我们要使用什么规范，默认是HTML5，因此可以省略不写--><!

原创 15 计算机底层——二进制到汇编学习

计算机底层——二进制到汇编学习1.概述语言机制进制如何计算二进制数据宽度有符号和无符号数原码和反码位运算位运算计算汇编寄存器内存汇编指令内存复制堆栈的指令汇编如何写函数堆栈传参堆栈平衡外挂2.机器语言人和人的沟通？语言和计算机的沟通？–>学习计算机的语言什么是机器语言？# 我们目前主流的计算机状态 ：0和1# 最早的程序员：穿孔卡带加 0100 0000减 0100 1000乘 0100 1000 0100 1000除 0100 1000

转载 Redis的zset结构——跳表SkipList

Redis的zset结构——跳表SkipList跳表(SkipList)设计与实现(Java) - bigsai - 博客园 (cnblogs.com)Redis源码剖析之跳表(skiplist)_xindoo-CSDN博客跳跃表(简称跳表)由美国计算机科学家***William Pugh发明于1989年***。他在论文《Skip lists: a probabilistic alternative to balanced trees》中详细介绍了跳表的数据结构和插入删除等操作。跳表(Sk

原创 Redis的Geo源码分析

源码位置：redis/src/geo.credis/src/geohash_helper.credis/src/geohash.cRedis源码剖析之GEO——Redis是如何高效检索地理位置的？_xindoo-CSDN博客Redis源码剖析之跳表(skiplist)_xindoo-CSDN博客上文中花了大量篇幅讲解了geohash的实现，其实看到这里，你基本上已经理解了redis中的geohash的实现了。本质上redis中的geo就是对geohash的封装，具体geohash相关的代码就

原创 14 注解与反射

注解和反射是所有框架的底层1.注解注释（Comment）：给人看注解（Annotation）：给人和程序看1.1概念Annotation是JDK5.0引入的新技术Annotation的作用：不是程序本身，可以对程序做出解释（这一点和注释没有什么区别）可以被其他程序（比如：编译器）读取Annotation的格式：注解是以“@注释名”在代码中存在的，还可以添加一些参数值，例如：@SuppressWarnings（value=“unchecked”）Annotat

原创 13 网络编程

网络编程1.1 概述地球村：世界通过网络连接起来信件：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TOzk6N4o-1645078909569)(https://s2.loli.net/2021/12/12/fPN9dFqbzoh4r5a.png)]计算机网络：​ 计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议 的管理和协调下，实现资源共享和信息传递的计算机系统。网络编程

原创 Python入门

Python指定python解释器和编码方式#!/usr/bin/python# -*- coding: UTF-8 -*-一、基础语法1.编码编码：将人类可识别的字符转换为机器可识别的字节码 / 字节序列解码：编码的反向过程叫解码概述：Unicode 是人类可识别的字符格式；ASCII 、UTF-8 、GBK 等都是机器可识别的字节码格式。我们写在文件中的 py3 代码，是由字符组成的，它们的格式，就是 Unicode，而字符是以字节为存储单位保存在文件中，文件保存在内存 / 物理磁盘

原创 Geohash的原理介绍、Redis的Geo命令总结、Python使用Redis的Geo模块

Geohash一.GeoHash编码介绍参考：https://hogwartsrico.github.io/2015/01/22/About-GeoHash/Geohash原理 - 简书 (jianshu.com)1.Geohash认识GeoHash本质上是空间索引的一种方式，其基本原理是将地球理解为一个二维平面，将平面递归分解成更小的子块，每个子块在一定经纬度范围内拥有相同的编码。以GeoHash方式建立空间索引，可以提高对空间poi数据进行经纬度检索的效率。GeoHash将二维的经纬度

原创 Redis遍历、模糊匹配key的两个命令keys、scan（python使用Redis）

Redis遍历、模糊匹配key的两个命令keys、scan（python使用Redis）（1）全量遍历–keys命令获取Redis中的所有键：import redis pool=redis.ConnectionPool(host='10.3.1.151',port=6379,password='mca321',db=2) r = redis.tRedis(connection_pool=pool) # 获得改=该数据库下所有键keys = r.keys() # 得到键的数据结

原创 Redis使用与内存优化

关于Redis的安装配置，可以参考： https://blog.csdn.net/weixin_46307478/article/details/122204294关于Python使用Redis，可以参考：https://blog.csdn.net/weixin_46307478/article/details/122953512三、Redis使用与内存优化redis 实际上的内存管理成本非常高，即占用了过多的内存，属于用空间换时间。作者对这点也非常清楚，所以提供了一系列的参数和手段来控制和节省.

原创 python使用Redis（主要针对zset数据结构）

原创 11 IO框架

1.流的概念与分类1.1概念概念：内存与存储设备之间传输数据的通道。1.2分类按方向【重点】输入流：将存储设备中的内容读入到内存中输出流：将内存中的内容写入到存储设备中[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iffNlDcp-1642148739563)(…/AppData/Roaming/Typora/typora-user-images/image-20220108204025495.png)]按单位字节流：以字节为单位。可以读写所