- 博客(102)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 python 刷题篇（4）---- 回文子串 leetcode 647
在每一次做题的时候，都是需要判断每一个算法题的时间复杂度和空间复杂度的。因为在实际的面试中，很有可能会需要分析算法题的最优解。而最优解无非就是从空间和时间两个维度进行优化。面试官出一道题时，可能更想了解的是最优解。通常时间复杂度：n2n^{2}n2，空间复杂度：n2n^{2}n2等。可能并不是面试官想要的解法。紧接着上文：python 刷题篇（3）---- 分割回文串 leetcode131这一章节我们将继续探讨回文串问题。问题描述：给定一个字符串，你的任务是计算这个字符串中有多少个回文子串。具有不
2021-05-14 16:36:08
500
原创 python 刷题篇（3）---- 分割回文串 leetcode131
经典的回文问题： •回溯+动态规划 •使用动态规划，标记回文状态。二维数组 •空间复杂度O(N^2) •时间复杂度O(N^2)对于动态规划而言，最重要的就是状态数组的初始化问题。 •这里需要知道的是，单词本身是回文。“a”是回文，长度为1。 •其次最重要的就是状态转移方程，什么时候不是回文？比较的两个字母不相等时，一定不是回文 状态转移方程： 得到回文状态数组之后，就...
2021-05-12 22:08:47
335
原创 python 刷题篇（2）---- 用两个栈实现队列(队列、栈问题)剑指 Offer 09
栈和队列问题是leetcode刷题中很常见的问题。（我记得快手面试的时候问的就是这个问题，可惜用的是解法1，不是最优解）栈的特性：先入后出队列的特性：先入先出在python中可以直接使用List去维护栈和队列。初始化：栈stack=[]，队列queue=[] 1）栈：入栈：stack.append(val)；出栈：stack.pop(-1) 2）队列： 入队列：queue.append()；出队列：queue.pop(0)用两个栈实现队列，python解法1，在delet...
2021-05-10 15:14:36
194
1
原创 python 刷题篇（1）---- 时间复杂度和空间复杂度的分析
这是一个系列篇，主要是用python刷题，适用于喜欢用python刷题的小伙伴一起交流和讨论，之前作者基于java、c\c++都刷过，这次使用python更加系统的根据校招高频题进行分析。首先分析一下做题需要注意的重点内容：•重点在理解不在数量，经典题多做，做到一看到原题能直接AC。•互联网公司大多考的是Leetcode上剑指offer、hot 100的题，但不是绝对，大多看面试官的算法水平。个人感觉阿里、腾讯面的算法都在中等偏简单的水平，腾讯重在性能、最优解，题不难。•自己做出来之后并没有
2021-05-10 10:58:17
811
1
原创 centos tensorflow无法使用GPU问题
GPU驱动的安装和相关cuda安装参见我的前两篇文章：GPU安装centos 7 环境下GPU环境搭建+安装tensorflow在执行nvidia-smi的时候没有问题，显示成功并且很正常：nvidia-smi显示如下：Thu Mar 13 09:45:13 2021 +-----------------------------------------------------------------------------+| NVIDIA-SMI 430.26
2021-03-26 11:18:42
667
原创 pmdk安装和编译
pmdk安装pkg-config安装1.yum install autoconf2.yum install automake3.yum install libtool4.git clone git://anongit.freedesktop.org/pkg-config5../autogen.sh --with-internal-glib进行编译 1）首先系统中如果没有glib，需要先下载编译glib： wget http://ftp.acc.umu.se/pub/GNOME/sou
2021-01-26 16:51:34
1364
1
原创 服务器上AEP是否安装查看
在命令行输入：dmidecode | grep -A16 "Memory Device"如果没有（Type:Logical non-volatile device），表示的是没有安装AEP内存条：没有的话显示如下：有AEP显示如下：
2021-01-21 10:30:24
379
原创 磁盘文件系统分区导致ssh失败问题
前两天xhsell突然连不上服务器了，首先检查是否是服务器自身问题：首先检查IPifconfig -a查看ip信息：（通过下图可以看出是没有run起来，连IPV4都没有）使用指令重启下网络，但是发现还是没有效果：service network restart尝试使用以下指令，显示成功（可能在restart时候没有自动起网络成功），同时可以查看到对应的ip地址：ifup eth0但是在ssh这个服务器的时候还是ssh失败：systemctl status ssh
2021-01-13 10:08:07
1153
1
原创 SPDK相关讲解
首先是安装：git clone https://github.com/spdk/spdk.gitcd spdkgit submodule update --init然后是安装相关的库（如果只是安装能把SPDK运行起来的最少需要安装的包，执行第一条；如果安装所有包就执行第二条，推荐第二条）：sudo scripts/pkgdep.shsudo scripts/pkgdep.sh --all如果在执行第二条的时候出现有的package在github上download下来失败的错误.
2020-12-23 10:10:18
2270
3
原创 定时获取当前linux系统下的CPU、内存、disk使用效率
在linux系统中，如果想要跑一些影响性能的application，通常需要时时关注的CPU、内存、disk的使用情况，因为通常我们在运行application时总是想着充分利用CPU、内存、disk资源的同时不影响系统处理其他application。所以可以通过下面的代码实现定时监控各个资源的使用情况。get_cpu_info()：函数主要是用来获取CPU的一些参数。可以通过old_info - new_info获取cpu使用情况。 get_mem_info()：主要是获取内存使用情况。 get_
2020-11-24 15:36:30
827
原创 leetcode刷题技巧
经历了漫长的秋招，终于结束了。结果还是让人满意的。作为一个女生，思来想去决定还是不去互联网公司了，996真的不是很友好。最后决定去外企了，工作的同时还可以有自己的生活。讲一下自己的准备过程吧！今年受到疫情的影响，前半年都在家里，于是开始了自己漫长的刷题之路，给自己定目标很重要，我年初的时候就定了一个目标，半年刷1000道leetcode。然后就开始了为期半年的刷题，中途又放弃过一段时间，好在找工作的焦虑战胜了我的懒惰，半年差不多完成了自己的目标。刷题是有技巧的，可以把自己的经验分享给大家哦。首先刷简
2020-11-20 10:53:22
684
2
原创 LinnOS: Predictability on Unpredictable Flash Storage with a Light Neural Network文章解读
背景现有SSD特点优点：读/写速度越来越快缺点：内部的逻辑越发复杂，导致延迟高。（GC、buffer flush、wearing leveling、read repair等导致了延迟高，都是FTL的一些模块）三种处理SSD不可预测性延迟的方法白盒方法：重构device内部代码。 结果：不能掩饰SSD的不可预测性。 影响：很难修改底层，同时开销很大（除非供应商支持这种操作）。灰盒方法：将部分设备级别的修改与OS或应用程序级别的更改结合起来。 结果：缓解了SSD延迟的不可预测
2020-11-10 18:01:28
605
原创 SPDK论文解读
内核的IO栈由于存在context switch、data copy、interrupt、resource synchronization等操作因此会产生大量存储开销，因此如何结果这个性能瓶颈？出现了高性能的工具库（SPDK）。那么SPDK主要是问了解决什么问题呢？减少存储开销。SPDK怎么解决的？ 把driver移动到user space，并且用轮询（polling）取代中断（interrupt），同时提供lockless的资源访问。相比较于原始的Kernel NVMe driver的性能有多
2020-10-22 21:14:18
270
原创 rocksdb和spdk
对于SSD使用SPDK作为NVMe driver的好处在于实现了用户态、异步、轮询、无锁等特性。与传统Linux内核中的NVMe driver相比，降低了nvme command的rocksdb和SPDK相连必须要使用blobfs才可，可以参见https://spdk.io/doc/blobfs.html首先是下载rocksdb。git clone -b spdk-v5.14.3 https://github.com/spdk/rocksdb.git然后进行编译：（SPDK_DIR表示的是
2020-10-19 14:23:18
826
2
原创 virtualbox使用
1.如果出现无法从虚拟机中跳出：按右边键盘的ctrl（right ctrl）2.如果出现虚拟机中yum install的时候失败：出现报错：No usable temporary directory found。大概率是因为磁盘没空间：df -h查看root目录所在磁盘的使用情况，如果可以，清除路径下的一些内容释放空间。下面两个分别是修改和查看虚拟磁盘空间的指令。C:\Program Files\Oracle\VirtualBox>VBoxManage showhdinfo "C:\U.
2020-08-04 11:37:14
406
原创 后台开发面试准备
1.fd只是一个整数，在open时产生。起到一个索引的作用，进程通过PCB中的文件描述符表找到该fd所指向的文件指针filp。文件描述符的操作(如: open)返回的是一个文件描述符,内核会在每个进程空间中维护一个文件描述符表, 所有打开的文件都将通过此表中的文件描述符来引用;而流(如: fopen)返回的是一个FILE结构指针, FILE结构是包含有文件描述符的，FILE结构函数可以看作是...
2020-07-23 20:37:09
627
原创 FP-Growth挖掘频繁项，java实现
FP-Growth主要是用来进行挖掘频繁项，使用场景是发现事物之间的相关性，其中用支持度表示相关性的大小，可以通过设置支持度来筛选相关性小的事物的联系。相比较于Apriori算法需要扫描多次数据，严重受到IO的影响。FP-Growth只需要扫描两次数据集，可以提高算法运行效率。下图是论文中的图：左边表示初始的数据集，表示原始的相关关系。然后遍历左边数据集，统计每个元素的出现次数，然后按照出现次数降序排列。得到中间的表格，设置minSupport = 3，然后删除出现次数小于minSupport的所有
2020-06-24 16:52:28
332
原创 mysql评测工具TPC-C使用，和基于TPCC的Benchmarksql评测工具
安装成功mysql之后，下载TPC-C进行评测。git clone https://github.com/Percona-Lab/tpcc-mysqlcd tpcc-mysql/srcmakemake的时候下面的报错，应该是因为这个问题( you should have mysql_config available in $PATH)load.c:19:19: fatal error: mysql.h: No such file or directory #include <my
2020-06-18 21:20:15
1123
原创 centos7 安装mysql和相关报错
由于yum install不能直接找到mysql的源，因此只能先wget镜像。wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpmsudo rpm -Uvh mysql80-community-release-el7-3.noarch.rpm在进行这一步之前先执行rpm -qa | grep mysql，确保没有mysql相关的rpm文件，否则可能会导致失败，我删除了以下和mysql相关的文件：r
2020-06-18 16:31:36
507
原创 centos下kafka的安装和使用
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。linux系统下安装kafka：wget http:...
2019-12-06 20:03:10
542
原创 LSTM处理多时间序列数据
处理的数据格式如图所示，主要是对blktrace抓取的磁盘信息进行处理。0.001742812,30893,G,R,1180470464,16,[mapkeeper_rocks],10.001927242,30893,G,WS,800359816,16,[mapkeeper_rocks],40.002208006,30893,G,WS,800359824,8,[mapkeeper_roc...
2019-12-02 15:29:56
4039
4
原创 centos 安装 mysql
首先使用rpm下载mysql依赖。在这里我装的是mysql57版本。 sudo rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm很有可能出现下面的错误：Error: mysql80-community-release conflicts with mysql57-commun...
2019-11-26 09:18:26
446
原创 linux中open file size的临时更改和永久更改
在centos系统下进行，首先通过ulimit -a查看系统的一些参数设置：[root@localhost blktrace100G]# ulimit -acore file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedscheduling priority ...
2019-11-22 09:39:16
4111
1
原创 fio安装和报错
fio是测量磁盘IO性能的重要工具之一，可以很好的测试IOPS。在进行性能测试的时候建议使用裸盘的方式进行测试，会得到比较真实的数据。fio安装：yum install fiofio的卸载：yum remove fio使用命令fio判断是否安装成功，显示报错：[root@localhost data]# fiofio: error while loading sha...
2019-11-13 19:55:35
6103
原创 centos libvirtd升级的两种方法
linux系统突然宕机，找不到原因。于是查看/var/log/messages里面记录的系统log发现以下错误，虽然可能不是宕机的原因但是还是需要解决的：Failed to start Virtualization daemon.localhost systemd: Unit libvirtd.service entered failed state.localhost systemd:...
2019-10-29 21:18:44
3269
1
原创 stoneneedle module的安装和使用（内核编译）
第一次安装内核模块，搞了很久。有很多需要整理的，整理出这篇文章供下次使用。刚开始安装这个模块的时候根据github wiki的步骤，感觉尝试了好多次也没有成功，主要是因为当前系统的内核版本和编译stoneneedle模块的内核源码版本不一致，所以一定要保证当前的系统内核版本和编译stoneneedle的内核版本一致！！！要不会报错，而且编译不成功。而且我尝试过先改变系统内核版本（原先是5....
2019-10-24 19:58:51
531
原创 centos 7挂载SSD
如果之前SSD是没有进行格式化的，就没有文件系统，在进行mount挂载的时候会出现：mount: /dev/nvme2n1 is write-protected, mounting read-onlymount: unknown filesystem type '(null)'所以在没有文件系统的时候需要格式化，当SSD之前做过格式化之后直接mount就行。但是关键就是知道SSD在插入...
2019-10-23 22:32:21
2244
原创 编译内核源码（linux 4.3.3）
我终于编译成功了，可以说我编译了很久，3.16.75版本的或者是3.13.1版本的我都尝试过还是没有成功，我也不知为什么（可能环境问题，出现诸如在reboot后启动的时候出现docker container引擎加载失败导致启动不了），这次我用了linux的4.3.3又做了尝试终于成功了。希望可以给大家带来参考：（我原始的linux环境是5.2版本的）在选择机器时，最好选择没有GPU的，因为GP...
2019-10-23 22:03:14
308
原创 java txt转化为csv
感觉java的txt文件转化为csv文件的方法会难些。但是可以通过调用jar包里面现成的类方法来解决。首先我在本地使用的是ideaij的maven，因此在pom.xml在加入依赖，来自动加载jar包到本地库。<dependencies> <!-- https://mvnrepository.com/artifact/net.sourceforge.javacsv...
2019-10-22 20:18:13
3099
原创 使用ycsb的mapkeeper连接mapkeeper里面的server进行测试
首先在进行连接之前，要参考前面的几篇文章进行相应的包下载和安装，我是使用的centos操作系统，安装libevent、thrift、boost（需要在thrift前进行安装）、snappy等。这些包安装好之后进行填坑环节。mapkeeper首先要在一些文件中添加如下内容：ycsb中mapkeeper部署然后执行：mvn clean package -Dmaven.test.skip=...
2019-09-11 21:58:28
441
原创 Rocksdb参数总结
CompressionType：压缩类型kNoCompression = 0x0,kSnappyCompression = 0x1,kZlibCompression = 0x2,kBZip2Compression = 0x3,kLZ4Compression = 0x4,kLZ4HCCompression = 0x5,kXpressCompression = 0x6,kZSTD ...
2019-09-06 09:50:25
8067
原创 cmake生成动态链接库过程中出现报错解决
报错1:simple_case.cc:(.text+0x230): undefined reference to `dlopen'simple_case.cc:(.text+0x244): undefined reference to `dlerror'simple_case.cc:(.text+0x31b): undefined reference to `dlsym'simple_...
2019-07-25 09:45:10
2310
原创 计算所住宿
想要来中科院计算所的学弟学妹一定很想知道住宿条件如何（因为我入学以前也一直想知道住宿条件）。研一的时候是在雁西湖集中教学，住的是单人间（但是由于床位紧张，有可能男生住的是两人间）。大约9个人或者是个人共享一个客厅，洗漱间，环境更类似于单元房。研二的时候住在青年公寓或者是科一招，是通过随机分的。中科一招今年翻修了，南楼大部分都是研二的同学们住。2019年女生住在科一招的比例是19人（总女生人数1...
2019-07-12 17:32:19
5785
1
原创 mapkeeper连接的数据库，修改ycsb insert和get的key长度
通过测试可以发现ycsb进行评测数据库工作负载的时候insert生成的key值是通过Fowler_Noll_Vo_hash之后得到18或者是19长度的字符串然后在前面加上"user"和填充位之后得到22或者23固定长度。这里主要是coreworkload中的buildKeyName(keynum) 方法实现的（这里的keynum是按照顺序递增的，value是keynum进行hash编码之后得到的值...
2019-07-01 14:24:30
829
原创 ycsb中mapkeeperclient修改和创建连接
这两天主要是在最新版本的YCSB的基础上用mapkeeperclient打包并连接mapkeeper端的server。不得不说ycsb在创建mapkeeper client的时候就是有问题的。我踩了很多坑，我要记下来做笔记。首先是下载最新的YCSB：git clone https://github.com/brianfrankcooper/YCSB.git然后执行下面命令：cd...
2019-06-29 17:14:43
529
2
原创 Scala中List[Map[String, String]]中contains问题
scala> val a:List[Map[String, String]] = List(Map("1"->"hello"), Map("2"->"wangrui"))a: List[Map[String,String]] = List(Map(1 -> hello), Map(2 -> wangrui))scala> a.contains("hell...
2019-06-18 19:31:16
2137
原创 centos安装jupyter notebook
安装jupyter notebook首先需要用pip安装：pip install ipython jupyter notebook然后执行下面的指令自动生成配置文件：jupyter notebook --generate-config#生成的config file在/root/.jupyter/jupyter_notebook_config.pypython3进入python...
2019-06-17 10:20:23
3983
原创 jupyter notebook中使用tensorflow-gpu常常出现的问题
问题1:Kernel Restarting The kernel appears to have died. It will restart automatically解决方法：如果是在装有GPU的服务器上搭建的jupyter notebook，并且使用的tensorflow可以通过在session的前面加上config来解决这个问题，亲自试过可行（我觉得主要问题是在此之前都是在cp...
2019-06-17 09:49:02
4931
1
mapkeeper安装时部署到.m2/中的文件夹
2020-11-30
benchmarksql-5.0-mysql-support-opt.zip
2020-06-27
mondpdb driver jar.zip
2020-01-09
MapKeeperClient.java
2019-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人