自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(88)
  • 收藏
  • 关注

原创 [NC126]换钱的最少货币数(Java实现)

题目描述:给定数组arr,arr中所有的值都为正整数且不重复。每个值代表一种面值的货币,每种面值的货币可以使用任意张,再给定一个aim,代表要找的钱数,求组成aim的最少货币数。如果无解,请返回-1.示例输入:[5,2,3],20返回值:4,最少需要四张5才能组成20输入:[5,2,3],0返回值:0,可以一张不取。输入:[3,5],2返回值:-1,没办法组成2思路:使用一个dp数组存放组成每一面值的最少货币数,数组大小为aim+1,dp数组初始值全为-1;以[5,2,3

2021-10-03 17:12:24 465

原创 爱奇艺面经(一面)

1. MYSQL事务简单说一下2. ACID3. REDIS事务和MYSQL事务的区别4. 分布式事务5. 隔离级别6. 可重复读靠什么机制解决的不可重复读和脏读 mvcc7. MYSQL的日志有哪些8. MYSQL索引底层数据结构实现 B+树9. 查找算法有哪些 时间复杂度 遍历、二分、哈希。 O(1)的查找办法:哈希表 冲突解决办法10. 二分查找的前提 顺序存储和有序11. 排序算法有哪些12. 1-100 O(n)的排序算法,怎么选,没重复...

2021-09-27 22:09:07 284

原创 【排序算法合集】十大排序算法(Java实现)

写在前面的总结一、冒泡排序冒泡排序算法需要多次重头到尾地访问待排序的数列,每次都依次比较相邻的两个元素,如果他们的顺序错误就交换着两个元素,重复多次,直至某一次遍历没有交换,说明排序完成。代码实现:参考链接:https://blog.csdn.net/shipfei_csdn/article/details/103225224?ops_request_misc=%257B%2522request%255Fid%2522%253A%25221605.

2021-08-18 12:02:06 408

原创 【二分法】二维数组中的查找

题目:在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。对于二维数组:[[1,2,8,9],[2,4,9,12],[4,7,10,13],[6,8,11,15]]给定 target= 7,返回true。给定target=3,返回false。方法一:直接遍历效率低,时间复杂度太高方法二:二分法1 2 8 9 ...

2021-03-30 20:59:31 612

原创 【API:util包 lang包】包装类、Math类、Object类、String类、StringBuffer类、正则表达式、Pattern类

java.lang.*lang包提供Java语言开发所需要的最基本的类,这个包会自动导入,对于其中的类,可以直接使用而不需要import引入,如System类,String类,包装类,Math类,Object类,Thread类,Exception类。java.util.*util包提供事件模型、集合框架、日期时间工具和各种有用的类...

2021-03-30 14:12:01 179

原创 简易学生信息管理系统(Python版)

用Python控制台完成一个简易的学生信息管理,主要涉及到基本语法、函数、流程控制、列表字典等知识。主界面运行效果如下:系统设计主要功能模块:系统开发环境:windows、Python3,8、Pycharm、以及Python内置模块os项目目录结构:stusystem.py完整代码:# -*- coding: utf-8 -*-# @Time : 2020/12/15 8:47# @Author : hanruiimport os#判断磁盘文件中该id.

2020-12-22 14:23:16 5247 1

原创 【SCP命令】Linux和Windows下的文件互传

从Windows上传文件到Linuxscp -P SSH端口 Windows下的文件路径 username@Linux机器IP:有权限的路径可选参数: -r 传输文件夹 例如:scp -r C:\Users\Administrator\Desktop\Codes\3D-point-cloud-generation-master [email protected]:/home/hanrui然后可以再根据自己的需要将文件夹移动到需要的位置cp 需要拷贝的文件 目标

2020-10-27 10:26:28 1191

原创 Pycharm修改镜像源并添加信任

在使用pip命令时,可以指定国内的镜像源加快下载速度,现在国内有阿里、豆瓣、清华等等许多的镜像源,直接使用如下格式就可以指定镜像源。pip install -i http://pypi.doubanio.com/simple/ kivy.deps.gstreamer在Pycharm中如何指定镜像源:File——Settings——Project:ProjectName——Project Interpreter——右侧“+”——Manage Repositories——加入镜像地址目前常用镜

2020-09-15 14:26:29 10715

原创 Pycharm新建python文件时自动添加时间作者等默认信息

File——Editor——File and Code Templates——Python Script——在右侧空白处输入想添加的信息例如:# -*- coding: utf-8 -*-# @Time : ${DATE} ${TIME}# @Author : XXXX# @Email : [email protected]# @File : ${NAME}.py可用的变量有:$ {PROJECT_NAME} - 当前项目的名称。$ {NAME} - 在文件创建过程中在“新建文件”.

2020-09-15 09:23:15 2303 1

原创 Pycharm安装包失败,手动安装whl文件

转载自:https://blog.csdn.net/qq_32300143/article/details/79961307https://www.cnblogs.com/linyfeng/p/7214134.html一、下载whl文件并安装1、点进入python包下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/2、在界面直接搜索待安装模块对应的.whl文件。比如安装numpy失败就找到numpy文件的位置,根据自己的需要选择版本下载。以

2020-09-09 15:37:49 14250 1

原创 labelme制作数据集改变掩码的颜色

labelme生成的掩膜默认是黑色和红色的, 如何将其修改成黑白二值的呢?首先找到labelme的安装路径,labelme是通过anaconda虚拟环境运行的,所以其安装路径在在anaconda环境下的Lib/site-packages/目录下。找到draw.py文件,在如下处修改:if i == 1: r = 255 g = 255 b = 255else: r = np.bitwise_or(r, (bitget(id, 0) << 7

2020-07-08 13:06:15 6055 12

原创 Win10自动宽带连接

右键"此电脑"——管理——任务计划程序——创建基本任务输入任务名称,下一步。选择触发器,计算机有密码的话选择登陆时,无密码选择启动时在程序或脚本中输入以下命令:rasdial 宽带连接 用户名 密码勾选不管是否登录都要运行,并将“配置”改成Windows10(我是win10的系统)切换到触发器选项卡,好像有时只设置启动时的触发器,电脑休眠唤醒之后...

2019-12-17 16:46:20 439

原创 【解决】使用VS开发ArcGIS Engine报错:未处理InvalidOperationException

添加axMapControl1控件运行后,报如下异常:ArcGIS version not specified. You must call RuntimeManager.Bind before creating any ArcGIScomponents.解决办法:找到program.cs,把 ESRI.ArcGIS.RuntimeManager.Bind(ESRI.ArcGIS.P...

2019-11-09 20:40:49 2097 1

原创 【JAVASE】JDK安装和Java基础

环境搭建包括开发环境(编写代码)和运行环境(运行java程序)两部分,也正是因为java运行需要特定的运行环境才使java具有跨平台性。安装JDK:JDK中既包含开发环境又包含运行环境安装步骤: 1.下载jdk安装包 2.运行exe安装程序 安装时会提示选择两次安装路径,一次是JDK的安装路径,一次是JRE的安装路径,如不使用默认安装路径最好新建一个J...

2019-07-06 17:06:11 1310

原创 IDEA将spark程序打成jar包上传到集群运行

一、基于IDEA插件File->Project Structure->Artifacts->"+"->Jars->From modules with dependencies然后Build->Build Artifacts->Build生成的jar包在左侧目录结构中可以看到(这个生成位置...

2019-04-30 09:04:08 2312

原创 【Linux】CentOS下安装Spark(standalone模式)

一、JDK的安装参考:https://blog.csdn.net/hr786250678/article/details/84998895二、HADOOP的安装参考:https://blog.csdn.net/hr786250678/article/details/89574478三、Scala的安装1 上传压缩包到虚拟机(master,slave1),解压tar -zx...

2019-04-30 08:26:59 639

原创 【解决】scala运行异常Could not locate executable null\bin\winutils.exe in the Hadoop binaries

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.出现这个问题的原因是我们在windows上模拟开发环境,但并没有真正的搭建hadoop和spark解决办法:当然也并不需要我们真的去搭建hadoop下载这个winutils:链接:https://...

2019-04-30 08:21:06 21215 7

原创 【解决】slave机器上的NodeManager启动一段时间之后自动结束

问题如题,查看hadoop/logs下nodemanager的日志(日志位置:hadoop安装目录/logs/yarn-root-nodemanager-slave1.log)描述如下:java.net.ConnectException: Call From slave1/192.168.146.128 to 0.0.0.0:8031 failed on connection except...

2019-04-29 13:35:02 1594

原创 【Linux】CentOS下安装nginx

1 安装gccyum install gcc-c++2 安装PCREyum install -y pcre pcre-devel3 安装zlibyum install -y zlib zlib-devel4 安装opensslyum install -y openssl openssl-devel5 上传nginx压缩包至虚拟街,解压tar -zxvf...

2019-04-29 10:16:57 135

原创 【解决】nginx: [alert] could not open error log file: open() "/root/soft/nginx/logs/error.log" failed

nginx: [alert] could not open error log file: open() "/root/soft/nginx/logs/error.log" failed (2: No such file or directory)2019/04/29 09:51:42 [emerg] 21683#0: open() "/root/soft/nginx/logs/access.l...

2019-04-29 10:00:31 19570 3

原创 【Linux】CentOS下安装flume

一、Flume的安装前提:已搭建好Hadoop1 上传压缩包到虚拟机,解压tar -zxvf apache-flume-1.7.0-bin.tar.gz2 修改名字便于使用mv apache-flume-1.7.0-bin flume3 修改flume-env.sh文件:进入flume安装目录下的conf目录,cp flume-env.sh.template ...

2019-04-28 21:19:57 895

原创 【Linux】CentOS下安装kafka(分布式模式)

前提:集群已安装好zookeeper1 上传压缩包到虚拟机,解压tar -zxvf kafka_2.11-0.11.0.3.tgz2 修改名字便于使用mv kafka_2.11-0.11.0.3 kafka3 修改配置文件,进入kafka安装目录下的config目录vim server.properties加入以下内容:broker.id=1 //相当于...

2019-04-28 20:01:15 533

原创 【Linux】CentOS下安装zookeeper(Distributed集群模式)

在集群模式下,建议至少部署3个zk进程(但我电脑空间不多了,我只建了两个虚拟机布了两个),或者部署奇数个zk进程。如果只部署2个zk进程,当其中一个zk进程挂掉后,剩下的一个进程并不能构成一个quorum的大多数。因此,部署2个进程甚至比单机模式更不可靠,因为2个进程其中一个不可用的可能性比一个进程不可用的可能性还大。1 上传压缩包至虚拟街,解压tar -zxvf zookeeper-3...

2019-04-28 14:30:51 172

原创 【解决】Spark启动后WebUI看不到Workers(Alive workers:0)

Work启动,但Http中没有Worker节点:说明Slave节点与Master的通讯出现问题,或Slave节点无法向Master注册,导致虽然Woker启动但不能在Master中找到。搜了一堆,被这个问题折磨了一天,总结一下主要是下面几个解决办法1. spark-env.sh 文件中需要显式地设置一些环境变量,不用系统默认值参考:https://blog.csdn.net/qq118...

2019-04-27 21:16:46 7135 2

原创 【Linux】CentOS下安装Hive并远程连接mysql

一、安装Hive1.上传hive压缩包(apache-hive-1.2.2-bin.tar.gz)至虚拟机2.解压缩tar -zxvf apache-hive-1.2.2-bin.tar.gz3.修改名称便于使用mv apache-hive-1.2.2-bin hive4.修改配置文件hive-site.xml,文件应在hive安装目录下的conf中,原本并没有这个文件...

2019-04-27 10:08:37 992

原创 【Hadoop】伪分布式的搭建

首先,准备好三台虚拟机,一台最小化安装版本作为master节点,两台正常的虚拟机作为slave节点,安装虚拟机可以参考:https://blog.csdn.net/hr786250678/article/details/89518684,最小化安装步骤完全相同,只不过在下面这一步时选择Minimal完成后重启就可以了,但会发现无法联网的问题,解决:https://blog.csdn.net...

2019-04-27 09:00:58 159

原创 【Linux】CentOS下安装Mysql

1 查看CentOS自带的Mysqlrpm -qa|grep mysql2 将自带的mysql卸载rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_643 yum在线安装(会自动解决依赖)(1)确定机器可以联网(2)yum install mysql-server(3)启动mysql:service mysqld start...

2019-04-27 08:58:52 160

原创 【Linux】配置Hadoop(Ⅱ)

1 上传tar包到虚拟机,解压tar -zxvf hadoop-2.7.6.tar.gz2 修改名称便于使用mv hadoop-2.7.6 hadoop3 配置环境变量,在.bashrc文件中(在家目录下)加入以下变量:export HADOOP_HOME=/root/soft/hadoopexport PATH=$JAVA_HOME/bin:$HADOOP_HOME/...

2019-04-26 21:03:00 278

原创 【Linux】VMware虚拟机的安装

VMware软件的安装和破解可以参考:https://blog.csdn.net/qq_31362105/article/details/80706096打开Vmware,左上角--文件--新建虚拟机选择自定义选项,下一步先不选择映像文件,稍后再添加操作系统上面操作系统选择Linux,下面的版本根据你的映像文件选择,我这里是CentOS 6指定虚拟机的保存...

2019-04-25 21:48:28 148

原创 【解决】PyCharm安装使用Scrapy库报错

直接在Project Interpreter中查找安装Scrapy库报错:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"先去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载twisted对应版本的wh...

2019-04-25 19:24:56 955

原创 【解决】IDEA右键无法新建java class

参考:https://www.cnblogs.com/zjfjava/p/9219237.html看了上面的博客说的,我的Moudles里Mark as里面只有Excluded,并不是五个那怎么把工程设置为可编译目录?可以直接右键文件夹,下方有一个Mark Directory as这时候再新建文件就可以看到有java class了...

2019-04-20 09:34:38 1266

原创 【Spark】(三)持久化

1 为什么需要持久化?在Spark中,RDD采用惰性求值的机制,每次遇到行动操作,都会从头开始执行计算。如果整个Spark程序中只有一次行动操作,这当然不会有什么问题。但是在一些情形下,我们需要多次调用不同的行动操作,这就意味着,每次调用行动操作,都会触发一次从头开始的计算。这对于迭代计算而言,代价是很大的,迭代计算经常需要多次重复使用同一组数据,可以通过持久化(缓存)机制避免这种重复计算...

2019-01-22 15:28:01 643

原创 【Spark】(二)RDD和算子

 一、RDD1.1 什么是RDD?RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark计算过程的核心,是spark计算过程中的瞬时结果,下一个RDD依赖于上一个RDD。它代表一个不可变、可分区、里面的元素可并行计算的集合。数据集就是由许多数据组成的集合了RDD本身并不是分布式的,里面的数据是分布式的。那么,弹性是什么...

2019-01-19 21:21:43 365

原创 【Spark】(一)Windows上集成开发环境的搭建

仍然是使用IDEA,确保已正确安装Scala。添加Spark的jar包选择spark/jars中的所有jar包,—&gt;OK完成后就可以写Spark代码啦~创建的依然是Scala Class。    ...

2019-01-17 16:06:33 153

原创 【Spark】(一)Linux上的环境搭建

首先,需要知道Spark的几种运行模式:1. Local:本地模式,不涉及分布式,用线程模拟分布式2. standalone:独立模式,伪分布式3. onyarn:完全分布式    下面又有两种部署模式:cluster集群模式和client客户端模式    Driver:任务提交之后开启的第一个进程。    两种模式的区别在于:客户端模式下在哪台机器提交就在哪台机器启动Dr...

2019-01-17 15:42:21 570

原创 【Spark】解决配置client模式时出现异常:Yarn application has already ended!

Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.        at org.apache.spark.scheduler...

2019-01-17 15:12:13 4209 2

原创 【Scala】基础7:隐式转换

Scala编译器在编译的时候如果发现类型不匹配,那么就会使用隐式转换来尝试将当前类型转换为预期的类型在变量、方法或者类的前边用implicit修饰,就表示这是一个隐式转换规则。需要注意的是,隐式转换是按照规则转换的,也就是说和名字无关。编译器在同一个地方只会添加一次隐式操作,不会在添加一个隐式操作之后在此基础上再次添加隐式操作那么什么时候会触发隐式转换呢?        1.调...

2019-01-15 20:54:14 138

原创 【Scala】基础6:面向对象

1.1 类参数在scala中,可以直接在类名后面指定类参数,这就像在定义函数时函数参数跟在函数名后面一样,可以在实例化对象时完成初始化如果在类参数前加上了val或var,那么类参数也变成了类的属性,可以使用对象.属性名访问scala中定义属性和方法还可以使用和Java一样的思路,不赘述。举例1:普通定义类属性和方法class Person{ var name:Stri...

2019-01-15 18:48:10 165

原创 【Scala】基础5:集合(二)

可变集合Scala中集合分为可变集合和不可变集合,就像Java中的String和StringBuffer。默认是不可变集合,在collection.immutable包下,会自动增加到Scala的当前命名空间。创建可变的集合时,需要包含类型的完整包名或者导包。不可变集合 可变集合 collection.immutable.List collection.muta...

2019-01-14 17:34:27 183

原创 【Scala】基础4:集合——List、Set和Map

List一个不可变的单链表,可以作为一个函数调用List来创建一个列表,并以逗号分隔参数的形式传入列表的内容。同Java中一样,如果没给List指定泛型,列表中可以存放不同数据类型的元素。指定泛型后,只能存放某一特定数据类型的元素。要直接访问单个元素,可以作为一个函数来调用这个列表,并传入该元素的索引(从0开始)可以用head()方法访问一个列表的首元素,可以用tail()方法...

2019-01-13 19:45:52 382

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除