weixin_44080131的博客

原创 Ubuntu截图命令

Shift + Ctrl + Print Screen #自由选区。Ctrl + Alt + Print Screen #选中的窗口。Alt + Print Screen #截取选中的窗口。Shift + Print Screen #自由选区。Ctrl + Print Screen #整个桌面。＃保存到文件夹，主目录（home）下的图片文件夹中。Print Screen #截取整个桌面。Pirnt Screen 为截屏键。

原创 java正则表达式匹配规则总结

文章目录1 单个字符的匹配规则如下：2 多个字符的匹配规则如下：3 复杂匹配规则主要有：4 提取匹配的字符串子段5 非贪婪匹配6 替换和搜索6.1 分割字符串6.2 搜索字符串6.3 替换字符串6.4 反向引用1 单个字符的匹配规则如下：2 多个字符的匹配规则如下：3 复杂匹配规则主要有：4 提取匹配的字符串子段Pattern p = Pattern.compile("(\\d{3,4})\\-(\\d{7,8})");Matcher m = p.matcher("010-12345678

原创 NoSQL 数据库比较

本文翻译自：A Comparison of NoSQL Database Management Systems and Models

原创 数据库分片 Database Sharding

本文参考：Understanding Database ShardingSharding 分类：垂直sharding水平shardingBenefits of ShardingDrawbacks of ShardingSharding ArchitecturesShould I Shard?Conclusion

原创 海量传感数据管理系统功能要求与总体结构

海量传感数据管理系统的设计1 海量传感数据管理系统的设计要求2 海量传感数据管理体系的总体结构3 HBase数据库设计

原创 Hadoop的实现

Hadoop及数据分布式管理1 Hadoop基本概念2 Hadoop的实现3 Hadoop的应用

原创 分布式文件系统 概念与技术

分布式文件系统1 分布式文件系统的基本概念1，文件是具有符号名和一组数据项的有序序列。读指针、写指针；文件也可以定义为存储在外部存储介质上的数据的集合；系统文件与用户文件；流式文件与记录式文件；临时文件、永久性文件、档案文件；顺序文件、链接文件、索引文件、Hash文件、索引顺序文件；顺序存取文件、随机存取文件；UNIX系统中文件分为普通文件、目录文件、特殊文件；2，管理文件的文件系统；3，分布式文件系统网络文件系统NFS；Andrew文件系统AFS；分布式文件系统DFS；2 分布式文件

原创 2021-11-18 存储系统体系结构

文章目录海量存储系统体系结构与管理1 海量存储系统的体系结构1.1 多级存储层次的基本概念1.2 多级存储层次的性能分析2 分布式文件系统2.1 分布式文件系统的基本概念2.2 分布式文件系统的关键技术3 Hadoop及数据分布式管理3.1 Hadoop基本概念3.2 Hadoop的实现3.3 Hadoop的应用4 海量传感数据管理系统的设计4.1 海量传感数据管理系统的设计要求4.2 海量传感数据管理体系的总体结构4.3 HBase数据库设计海量存储系统体系结构与管理存储系统在高速度、大容量、低成本三

原创 2021-11-08 RAID磁盘阵列的分级与结构 总结

文章目录1. RAID的分级与结构1.1 RAID01.2 RAID11.3 RAID21.4 RAID31.5 RAID41.6 RAID51.7 RAID61.8 RAID71.9 RAID 0+11.10 Matrix RAID1.11 JBOD和NRAID1.12 NV RAID1. RAID的分级与结构磁盘整列整体结构图：1.1 RAID0即Data Stripping（数据分块，数据条带化）。将整个逻辑盘的数据分块地分布在多个物理磁盘上，可以进行并行读写，提供最快速度，但是没有冗余能

原创 2021-10-26 数据存储的基本原理

1 数据存储的实现介质实现数据存储必须有三个基本条件：存储介质的不同状态、存储介质的状态感知、存储介质的状态转换。1，存储介质的不同状态：根据磁性薄膜上剩余磁化方向不同实现此表面记录技术，磁化方向不同可表示电平的跳变，经解码识别为01，实现数据存储。根据电平高低状态，实现用于记忆的电路，如半导体静态随机存取存储器（SRAM 6个晶体管组成）。基于电阻值的大小存储数据，阻变存储器RRAM，相变存储器PCM、磁性存储器MRAM。光盘表面采用不同波长激光产生凹坑大小不同，光盘记录容量也不同。2，存储

原创 Call From Master/192.168.47.100 to localhost:9000 failed on connection exception: java.net. 报错解决方法

这几天学习Hadoop，通过java API与hdfs系统进行交互，运行程序报错如下：在网上找了很多方法都不行，后来发现是java编程的路径有问题：首先看你能不能在浏览器访问localhost:9870。如果不能，说明你的/etc/hosts或者hadoop相关配置文件有问题，可以参考我的hadoop专栏下的配置博客。如果能访问的话，说明网络连接没有问题，这里我们发现Overview中节点的名称是Master:9000，每个人命名可能不一样；我们把java程序里边的localhost:9000改.

原创 2021-10-21 基于virtual box虚拟机的Hadoop集群安装配置教程

本文记录参考 http://dblab.xmu.edu.cn/blog/2775-2/ 搭建hadoop分布式集群的过程前置已在一台虚拟机配置好了伪分布式hadoop系统一台虚拟机作为master作为namenode，三台虚拟机data1、2、3（均安装了ubuntu系统）作为datanode网络配置网卡1配置为NAT网络，这样虚拟机可以正常访问外部网络网卡2配置为host-only，这样data虚拟机可以和master虚拟机通信如果界面名称显示未指定，可以在virtualBo

原创 2021-10-21 VirtualBox安装ubuntu虚拟机

VirtualBox安装ubuntu虚拟机步骤记录之前自己在做实验的时候安装过好多次虚拟机，每次都没有记录，今天把安装的步骤记录一下，免得以后忘了再去乱找教程。1. 下载虚拟机软件和ubuntu镜像VirtualBox下载地址：https://download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exeubuntu镜像下载地址：https://launchpad.net/ubuntu/+cdmirrors

原创 2021-10-21 虚拟机配置Hadoop 集群教程（参考Hadoop+Spark 大数据巨量分析与机器学习）

配置完伪分布式虚拟机后，可以继续配置hadoop集群。配置伪分布式hadoop可以参考：http://dblab.xmu.edu.cn/blog/2441-2/ 教程里也有配置集群，但是是用物理机配置的，我们这里还是选择用虚拟机配置。规划一台主要计算机master，在HDFS担任NameNode角色、在MapReduce担任ResourceManager；有多台计算机data1、data2、data3，在HDFS中担任DataNode角色、在MapReduce中担任NodeManager角色；.

原创 2021-10-12《数据挖掘-实用机器学习工具与技术》—— 学习笔记 第四章 算法： 基本方法

第四章 算法： 基本方法八种不同的数据集形式：1、只有一种属性承担了所有工作，其他属性都是无关或冗余属性；2、所有属性是独立地，均等地对最终结果做出贡献；3、拥有一个包含多个属性的简单逻辑结构，可由决策树得到；4、存在一些独立的规则，将实例划分到不同的类5、不同属性子集具有依赖性6、不同数值属性间有线性依赖关系，权值问题7、归类到实例空间具体区域，受控于实例间的距离8、没有提供类别标签，无监督学习4.1 推断基本规则1规则（1-rule，1 R）选择单个属性作为决策依据，并且选择其中

原创 2021-10-12 《数据挖掘-实用机器学习工具与技术》—— 学习笔记 第三章 输出： 知识表达

第三章 输出： 知识表达3.1 表 （决策表）3.2 线性模型回归：预测数值型变化的过程可用来回归预测，也可用来分类。（高维空间是超平面）3.3 树在叶子节点上包含平均数值型值得决策树称为回归树3.4 规则分类规则将规则转换成决策树时，关联规则包含例外的规则从逻辑上，基于例外的规则可以简单地用if…then…else语句改写。表达能力更强的规则归纳逻辑编程 inductive logic programming3.5 基于实例的表达（instan

原创 2021-10-12 数据挖掘-实用机器学习工具与技术》—— 学习笔记 第二章 输入：概念、实例和属性

第二章 输入：概念、实例和属性机器学习的输入采用概念、实例、和属性的形式2.1 概念四种不同的学习方式分类学习：用一个已分类的样本集表示学习方案，学习对未来样本分类的方法；关联学习：寻找任何特性之间的关联，不仅仅预测类值；聚类：聚合相似性的分组数值预测：预测出的结论不是离散值而是数值量2.2 样本每一个数据都可以表示成实例与属性的矩阵，单一关系（数据库）、平面文件；数据收集：数据必须集中、整合和清理，大型数据整合的思想称为数据仓库。提供访问成组数据的接口。ARFF

原创 《数据挖掘-实用机器学习工具与技术》学习笔记 第一章 绪论

第一章 绪论数据挖掘被定义为找出数据中的模式的过程，过程为自动或半自动，数据量客观，发现的模式使有意义的，并能产生效益。学习：事物以令其在将来表现更好为标准来改变其行为。在学习中，目的是学习者的目的，在训练中，目的是老师的目的。数值属性问题： 对数值属性建立不等式；混合属性问题： 属性类型不止一种简单例子： 天气问题、隐形眼镜、鸢尾花类型预测、CPU性能：介绍数值预测、劳资协商好坏预测、大豆疾病分类预测。应用领域： Web挖掘、包含评判的决策、图像筛选、负载预测、诊断、市场和销售（购物篮分析）。

原创 力引导图python实现 force directed layout

force directed layout 力引导图python实现实验内容：force directed layout编程实现探讨三个force directed layout算法的加速策略文章目录force directed layout 力引导图python实现1. A brief introduction to force directed layout1.1 维基百科1.2 理论基础1.3 优势1.4 缺点2. python实现效果3. 加速策略讨论3.1 模拟退火法3.2 合并同一

原创 基于Python和d3的squarified treemap实现

squarified treemap实现文章目录squarified treemap实现实验内容：1 A brief introduction to treemap1.1 example1.2 history2 python实现2.1 代码说明2.2 效果展示3 基于Observable的d3实现3.1 代码说明3.2 效果展示3.2.1 Squarified Treemap3.2.2 Binary Treemap3.2.3 SliceDice Treemap3.2.4 使用flare-2.json数

原创 C++ map/set应用与基本原理

map插入遍历、顺序输出、逆序输出查找元素是否存在删除元素 map<int, int> mp; set<int> st; cout<<"map插入十组数据"<<endl; for(int i=0;i<10;i++) mp[i]=i*i; //mp.clear();//清除； //mp.erase(2);//按照key删除，复杂度为logn cout<<"默认按

原创 c++字符大小写转换

可以将字符进行大小写转换tolower(target)toupper(target)

原创 C++,C字符串字符输入

C++,C字符串字符输入文章目录C++,C字符串字符输入1. cin>>2. cin.get()3.cin.getline()4. getline()5. gets()1. cin>>用法一： 最常用、最基本的用法，输入一个数字：#include <iostream>using namespace std;int main (){ int a,b; cin>>a>>b; cout<<a+b<<end

原创 云计算课程思维导图

这学期选了云计算，老师讲的挺清晰的，实验也挺有体验感。明天要考试了，看完了ppt找不到事做写了一个思维导图，算是记录这学期云计算的学习吧，导图不全，剩下的随缘补。

原创 Leetcode 665. 非递减数列 题解

题目链接思想：如图：如果数列上边的抖动个数大于等于两个，则肯定不可能只改动一个元素使得数列整体非减。对于有单个抖动的局部（下图右侧），可以选择将p处的元素增大或者将p+1处的元素减小，可以成功操作的条件为:nums[p+1]>=nums[p−1]∣∣nums[p+2]>=nums[p]nums[p+1] >= nums[p-1] || nums[p+2] >= nums[p]nums[p+1]>=nums[p−1]∣∣nums[p+2]>=nums[p]c++代

原创 Leetcode 406. 根据身高重建队列 题解

题目链接思想：多关键排序，理解每个位置前边的空位置个数的意义。c++代码：class Solution {public: vector<vector<int>> reconstructQueue(vector<vector<int>>& p) { sort(p.begin(),p.end(),[](const vector<int>a, const vector<int> b){

原创 Win10 Ubuntu虚拟机安装并配置Hadoop、Spark环境

文章目录一，安装Ubuntu二，安装Linux虚拟机三，安装hadoop和配置JDK环境四，Spark环境配置一，安装Ubuntu1，安装好的VirtualBox虚拟机软件；2，Ubuntu LTS 16.04 ISO映像文件：厦门大学实验室资源extract code:99bg；3，安装一路继续；二，安装Linux虚拟机安装的Ubuntu 64bit Linux。进入系统后可以在UI左下角的设置中设置虚拟机桌面分辨率。三，安装hadoop和配置JDK环境Hadoop安装教程_单机/伪分

原创 python网络爬虫 Requests库入门

文章目录一，Request库简介1, 安装2，Requests库7个主要方法3， 通用框架一，Request库简介1, 安装pip install requestsr.status_code返回状态码，为200时说明访问状态正确>>> import requests>>> r = requests.get("https://www.baidu.com/")>>> r.status_code200>>> r.enco

原创 C++ scanf 输入字符串、数字字符串相互转化、ASCLL码

1，c++中输入字符串： string s; scanf("%s",&s[0]);c++中string类型的变量是一个对象，其中包含字符串本身的内容以及相关函数，内存中不仅仅存放字符串内容。用printf输出要用： printf("%s",s.c_str())2，字符串数字转化： string a; scanf("%s",&a[0]); int b= atoi(a.c_str()); cout<<b<<endl;一般的可以将数字字符和整型数用

原创 闫令琪 GAMES101 图形学 入门笔记

闫老师讲的实在是好；这里附上B站的课程链接（果然B站是用来学习的hhhh）GAMES101感觉要比学校里老师讲得好

原创 大数据安全期末复习List

1,数论基础2，对称密码算法3，非对称密码算法4，哈希与数字签名算法5，大数据访问控制技术6，大数据安全检索技术7，大数据隐私保护技术

原创 SDU信息检索考试复习

对着ppt手写了一份精简版文章目录1. 大纲2. 索引构建3. 排名检索和评价指标4. 语言模型5. Link Analysis6. Machine Learning7. Clustering 、Hierarchical Clustering、DBSCAN8. Topic Model、LDA、PLSA、MCMC1. 大纲2. 索引构建3. 排名检索和评价指标4. 语言模型5. Link Analysis6. Machine Learning7. Clustering 、Hiera

原创 几种常见的数字签名算法比较

https://www.infinisign.com/faq/digital-signature-diff

原创 C++ 结构体构造函数、排序比较：内嵌重载操作符方式、外部声明函数方式

目录一，结构体申明以及操作符重载：二，外置比较函数传参方法：三，测试代码：前言：结构体是比较常用的数据结构，构造函数有多种方法。 另外，结构体的比较常为基于多关键字的比较，我们可以通过内嵌方式和外部定义两种方式实现结构体的多关键字比较一，结构体申明以及操作符重载：struct Node{ int a; int b; Node() :a(), b(){}//构造函数1 Node(int _a, int _b) :a(_a),b(_b){}//构造函数2 void

原创 Leetcode刷题：双指针

一个好的力扣题解目录1，两数之和思路：主要利用双指针，在排序后的列表中进行O(n)的搜索。class Solution {public: vector<int> twoSum(vector<int>& numbers, int target) { int l = 0; int r = numbers.size()-1; //双指针 while(l<r){ if(nu

原创 python dataframe 链式索引修改数据失败问题

原文链接类似以下代码修改dataframe中的数据不成功data[data.bidder == 'parakeet2004']['bidderrate'] = 100且报警告：/Library/Frameworks/Python.framework/Versions/36/lib/python3.6/ipykernel/__main__.py:1:SettingWithCopyWarning: A value is trying to be set on a copy of a slice fr

原创 python pandas读取csv文件报错：encoding=‘gb2312‘

读文件报错：UnicodeDecodeError: ‘gb2312’ codec can’t decode byte 0xa9 in position 8221: illegal multibyte sequenceimport osimport sysimport numpy as npimport pandas as pdf1=pd.read_csv("train - 副本.csv",encoding='gb2312')print(f1)后边的encoding属性根据自己的文件属性来

原创 Typora 输入符号上标

原创 可视化实验图库

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201023112746718.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA4MDEzMQ==,size_16,color_FFFFFF,t_70#pic_center

原创 windows 下使用pip 安装pycrypto 引用时报错找不到模块

win+R 打开命令行输：pip install pycryptodome打开本地python IDE输入from Crypto.Cipher import AES报错 No module named ‘Crypto’解决方法找到自己的python安装路径，比如：Python\Python36\Lib\site-packages，找到这个路径，下面有一个文件夹叫做crypto,将小写c改成大写C就ok了。...