- 博客(81)
- 资源 (20)
- 收藏
- 关注
原创 【LeetCode 】数组简介
然而,如果要将该元素插入到数组中的其他位置,则会有所区别,这时我们首先需要为该元素所要插入的位置 腾出 空间,然后进行插入操作。删除元素与插入元素的操作类似,当我们删除掉数组中的某个元素后,数组中会留下 空缺 的位置,而数组中的元素在内存中是连续的,这就使得后面的元素需对该位置进行 填补 操作。我们可以根据数组中的索引,快速访问数组中的元素。我们发现,最坏情况下,搜索的元素为 “R”,或者数组中不包含目标元素时,我们需要查找 n 次,n 为数组的长度,因此查找元素的时间复杂度为 O(N),N。
2023-08-25 12:11:51 536
原创 【WEB开发】Java获取高德POI(关键词搜索法)实现数据展示
该篇文章是关键词搜索法获取高德poi,但鉴于无法突破200条记录的上限,所以采用了本方法进行区/县循环检索。开始之前我们首先需要明白一些常识poi是兴趣点,它本身除了经纬度,还记录了一些信息,如名称、地址、联系方式、所属行政区高德poi是指从高德地图上获取poi,所以我们借助的平台是高德地图高德地图知道有很多人需要用到poi,因此它十分良心地推出了若干个接口(API),借助这些API我们就可以各取所需。
2023-07-26 18:22:11 1547
原创 【Python开发】Python调用高德地图web服务API实现地址批量转换经纬度
【代码】【Python开发|Python调用高德地图web服务API实现地址批量转换经纬度地图】
2023-07-17 14:23:19 1645
原创 【大数据离线开发】9 Pig:数据分析引擎
Pig是一个基于Apache Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫PigLatin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口,使用者可以透过Python或者JavaScript编写Java,之后再重新转写。Pig的特点Pig是一个用来处理大规模数据集的平台,由Yahoo!贡献给ApachePig可以简化MapReduce任务的开发Pig可以看做hadoop的客户端软件。
2023-04-24 16:55:15 2136 1
原创 【产品工具使用】Navicat 导入Oracle数据库的dmp文件
1、打开navicat 连上本地数据库,点击【其他】-》【目录】,会把你本机的已有的一些目录列表展示出来,我们可以找到oracle 默认的导入dmp文件的目录,DATA_PUMP_DIR,如果不想使用该目录,我们也可以新建目录,这里,我新建一个目录MY_DIR。4、点击【生成SQL】 -> 【点击运行】等待执行结束即可(注:数据量大的话,此过程耗时较长,请耐心等待),注意:首次导入失败的话,如上图所示部位【表存在的动作】,这里我们可以选择 truckate 重新导入。2、把自己要导入的数据放到该目录下。
2023-04-10 13:51:16 6742
转载 【产品工具使用】VirtualBox虚拟机安装Windows10史上最全安装教程
如上图,按照①②③④依次选择,复制第④步红框里的下载链接,粘贴到浏览器地址栏,会直接弹出下载软件(我安装的是迅雷)开始下载,保存在你熟悉的文件夹,不熟悉也没关系,一会能找到就可!左侧列表【显示】 ——> 屏幕 ——>硬件加速:勾选【启动3D加速】,(这里的显存大小暂时按默认,如果默认太小记得要调大些,有可能会导致后续黑屏);选好想要共享的文件夹,点击【Open】,勾选【自动挂载】,点【ok】,就会出现共享文件夹路径,点击确认;7、大概核对下各版块信息,点击【启动】按钮,开始观看Windows10的安装;
2023-03-09 17:19:20 19551 4
原创 【产品工具使用】Oracle数据库的安装和问题解决
可以通过官网下载链接进行下载,按照自己电脑配置64位还是32位进行选择;也可以用百度网盘分享64位Oracle数据库安装包:
2023-03-06 14:19:16 535
原创 【大数据离线开发】8.4 Hive的查询、操作以及自定义函数
Hive的自定义函数(UDF:user define function)本质就是一个Java程序可以直接应用于select语句,对查询结构做格式化处理后,再输出内容Hive自定义函数的实现细节自定义UDF需要继承org.apache.hadoop.hive.ql.UDF需要实现evaluate函数,evaluate函数支持重载Hive自定义函数案例案例一:拼接两个字符串。
2023-03-06 14:17:23 318
原创 【大数据离线开发】8.3 Hive的数据模型
启动hive,执行下述语句,上述表保存到数据库里,hdfs目录(游览器ip:50070)上也有保存表。当执行完成之后,可以在yarn:50070网页查看桶表信息,也可以用hdfs以命令行的方式进行查看。执行的sql如果是一个MapReduce的话,sql语句就会在yarn后台运行,然后打印在屏幕上。HDFS上查询到员工表数据:hdfs dfs -cat /scott/emp.csv。默认表的分隔符是tab键,重新创建emp1表,格式化表的分隔符为逗号。外部表:只定义表结构,数据保存在HDFS的某个目录下。
2023-03-03 13:55:31 903
原创 【大数据离线开发】8.2 Hive的安装和配置
创建一个新的用户:create user ‘hiveowner’@‘%’ identified by ‘Welcome_1’;需要停止Hadoop环境,修改hdfs-site.xml,打开禁用HDFS的权限检查的功能,然后重新启动。查看root用户的密码:cat /var/log/mysqld.log | grep password。在嵌入模式下,在哪个目录下执行的数据库初始化,就应该在哪个目录下执行: hive。启动hive,然后创建测试学生表,同嵌入模式一样,然后通过网页的方式进行查询。
2023-02-28 17:19:12 467
原创 【大数据离线开发】8.1 Hive介绍和架构
起源自facebook由Jeff Hammerbacher领导的团队2008年facebook把hive项目贡献给Apache定义了一种类SQL语言HiveQL。可以看成是仍SQL到Map-Reduce的映射器提供Hive shell、JDBC/ODBC、Thrift客户端等接Hive是一个基于HDFS之上的数据仓库HiveHDFS表目录数据文件分区目录桶文件Hive基于Hadoop之上的一个数据分析引擎Hive是一个翻译器,把SQL语句翻译成一个MapReduce程序。
2023-02-25 09:37:25 494
原创 【大数据离线开发】7.4 HBase数据保存和过滤器
将编写的程序打包成jar包,上传到全分布或者伪分布环境下,启动环境运行,会有一个exception异常。多个列名前缀过滤器:查询员工的姓名、薪水 select ename, sal from emp;列名前缀过滤器:查询员工的姓名 select ename form emp;业务越来越大,数据越来越大,必然会发生Region的分裂。行键过滤器:通过Row可以查询,类似通过Get查询数据。注意:数据的存储,都需要注意Region的分裂。运维:可以通过增加节点,或者预分配的方式。
2023-02-20 11:13:04 329
原创 【大数据离线开发】7.3 JavaAPI操作HBase
将HBase的jar包导入到项目当中,然后就可以通过使用Java API操作HBase。以创建表为例,进行程序测试,启动hadoop环境(伪分布就可以)额外需要导入hamcrest-core-1.3.jar包。启动HBase,然后Run as Junit 运行程序。退出安全模式,在安全模式下,Hbase可能无法写入。
2023-02-20 11:05:38 125
原创 【大数据离线开发】7.2 搭建HBase环境
当bigdata112死掉的时候,bigdata114就会成为主节点 ,从节点的一些信息也会显示,因为我们的客户端都是连接zookeeper的。在某个从节点单独启动HMaster:hbase-daemon.sh start master。启动HBase命令:start-hbase.sh————仅仅只启动HMaster。:每台机器的时间同步,可以使用 date -s 11/22/2016 设置时间。可以同本地模式一样在本地操作,也可以在网页上查看,配置的hdfs网址。伪分布和全分布模式主要区别是在 rs。
2023-02-20 11:00:52 416
原创 【LeetCode | 程序设计】1. 两数之和
给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。解释:因为 nums[0] + nums[1] == 9 ,返回 [0, 1]。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。输入:nums = [2,7,11,15], target = 9。输入:nums = [3,2,4], target = 6。输入:nums = [3,3], target = 6。
2023-02-14 15:34:35 99
原创 【程序设计】C|Python|Java编程求素数
输出所有从1到这个整数之间(不包括1和这个整数)个位为1的素数(素数之间用空格隔开,最后一个素数后面没有空格),如果没有则输出-1。输入一个整数n(2
2023-02-14 15:19:28 489
原创 【操作系统】5、文件管理
则需要先顺序查找索引表找到分组(共100个分组,因此索引表长度为100,平均需要查50次),找到分组后,再在分组中顺序查找记录(每个分组100个记录,因此平均需要查50次)。可见,采用索引顺序文件结构后,很多时候,用户会连续访问同一目录内的多个文件(比如:接连查看“2015-08”目录内的多个照片文件),显然,每次都从根目录开始查找,是很低效的。从当前路径出发,只需要查询内存中的“照片”目录表,即可知道”2015-08”目录表的存放位置,从外存调入该目录,即可知道“自拍.jpg”存放的位置了。
2023-02-05 01:00:00 497
原创 【操作系统】4、设备管理
如果要读/写多个离散存储的数据块,或者要将数据分别写到不同的内存区域时,CPU要分别发出多条I/O指令,进行多次中断处理才能完成。CPU和I/O设备的并行性得到提升。处理中断的过程中,CPU从I/O控制器读一个字的数据传送到CPU寄存器,再写入主存。,一般仅用在对速度要求非常高的场合(如存储器管理中所用的联想寄存器,由于对页表的访问频率极高,因此使用速度很快的联想寄存器来存放页表项的副本)极低,通道会根据CPU的指示执行相应的通道程序,只有完成一组数据块的读/写后才需要发出中断信号,请求CPU干预。
2023-02-04 12:00:00 993
原创 【操作系统】3、内存管理
如果是1,则将它置为0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。
2023-02-03 09:08:07 802
原创 【操作系统】2、进程管理
之后当执行完代码2,继而执行V(S)操作,S++,使S变回0,由于此时有进程在该信号量对应的阻塞队列中,因此会在V操作中执行wakeup原语,唤醒P2进程。逻辑上来看Swap和TSL并无太大区别,都是先记录下此时临界区是否已经被上锁(记录在old变量上),再将上锁标记lock设置为true,最后检查old,如果old为false则说明之前没有别的进程对临界区上锁,则可跳出循环,进入临界区。此时该进程会进入“终止态”,操作系统会让该进程下CPU,并回收内存空间等资源,最后还要回收该进程的PCB。
2023-02-03 09:05:47 657
原创 【操作系统】1、操作系统概述
操作系统是管理计算机硬件的程序。它还为应用程序提供基础,并且充当计算机用户和计算机硬件的中介。操作系统(Operating System, OS)是指控制和管理整个计算机系统的硬件和软件资源,并合理地组织调度计算机的工作和资源的分配;以提供给用户和其他软件方便的接口和环境;它是计算机系统中最基本的系统软件操作系统是系统资源的管理者向上层提供方便易用的服务(封装思想)是最接近硬件的一层软件补充:执行一个程序前需要将该程序放到内存中,才能被CPU处理。名词概念PCB。
2023-02-01 17:43:03 257
原创 【大数据离线开发】7.1 HBase简介和体系结构
什么是NoSQL数据库?基于Key-Value来保存数据一般来说,NoSQL不支持事务关系型数据库:基于关系模型 —> 二维表。
2022-08-16 14:38:24 575
原创 【大数据离线开发】6.3 MapReduce案例锦集
关系型数据库中的多表查询(子查询在Oracle中,绝大多部分的组查询都是转换成多表查询来执行)distinct去掉重复的数据,作用于后面所有的列,只要组合起来的数据不一样就可以。在Oracle中,当查询的数据满足是一棵树的时候,可以使用层次查询来取代自连接。使用MapReduce实现distinct对一个列的去重。举例查询员工信息,要求显示员工老版的名字员工的名字。等值连接实现下面的SQL语句。自连接就是一张表的连接操作。.........
2022-07-19 14:32:42 931
原创 【Java基础】Java综合练习
按照如下规则计算机票价格旺季(5-10月)头等舱9折,经济舱8.5折,淡季(11月到来年4月)头等舱7折,经济舱6.5折。一个大V直播抽奖,奖品是现金红包,分别有{2,588,888,1000,10000}五个奖金。一个大V直播抽奖,奖品是现金红包,分别有{2,588,888,1000,10000}五个奖金。规则如下每位数加上5,再对10求余,最后将所有数字反转,得到一串新数。请使用代码模拟抽奖,打印出每个奖项,奖项的出现顺序要随机且不重复。比如1983,采用加密方式进行传输,......
2022-07-19 14:24:11 572
原创 【大数据离线开发】6.2 MapReduce的高级特性
Java的序列化:将对象写入到文件中Student.javaTestStudent.java6.2.1.2 Mapreduce的序列化核心:接口 Writable如果一个类实现了的Hadoop的序列化机制(接口:Writable),这个类的对象就可以作为输入和输出的值。案例1: 读取员工数据,生成员工的对象,直接输出到HDFSEmp.javaEmpInforMapper.javaEmoInfoMain.java导出 jar 包,上传虚拟机,执行命令案例2: 使用MapReduce序列化重写“求每
2022-07-04 15:28:17 171
原创 【产品工具使用】黑群晖史上最强安装教程
文章链接视频链接:其实完全可以放心,通过几年来,几十台黑群晖NAS的使用经验,可以明确告诉您这些信息!所以,我们完全可以安心使用黑群晖,切记,别乱升级,别瞎整,就不用担心数据丢失!安装步骤安装过程开机的时候,我们不停的按键盘的Delete键,可以进入到主板的Bios页面:确认我们的U盘引导的优先级是最高级。然后按F10保存退出,机器进行重启:当显示器,显示下面这个信息的时候,就代表我们的黑群晖已经安装好了!这个时候,我们就可以拔掉显示器和键盘鼠标了,以后我们这台DIY的NAS,只需要一个U盘,一根网线接在上
2022-06-29 16:49:28 45329 10
原创 【大数据离线开发】6.1 开发MapReduce程序
添加依赖 jar 包/root/training/hadoop-2.7.3/share/hadoop/common/*.jar/root/training/hadoop-2.7.3/share/hadoop/common/lib/*.jar/root/training/hadoop-2.7.3/share/hadoop/mapreduce/*.jar/root/training/hadoop-2.7.3/share/hadoop/mapreduce/lib/*.jarWordCountMap.javaWo
2022-06-27 09:43:40 447 1
原创 【Java基础】方法
方法(method)是程序中最小的执行单元注意:方法必须先创建才可以使用,该过程成为方法定义方法创建后并不是直接可以运行的,需要手动使用后,才执行,该过程成为方法调用定义格式范例调用格式范例注意:方法必须先定义,后调用,否则程序将报错需求:设计一个方法用于打印两个数中的较大数思路:定义一个方法,用于打印两个数字中的较大数,例如getMax()方法中定义两个变量,用于保存两个数字使用分支语句分两种情况对两个数字的大小关系进行处理在main()方法中调用定义好的方法代码6.3 带参数方法定义和调用6
2022-06-27 09:33:46 191
原创 【C++入门】结构体
结构体属于用户自定义的数据类型,允许用户存储不同的数据类型语法:通过结构体创建变量的方式有三种:示例:8.3 结构体数组作用: 将自定义的结构体放入到数组中方便维护语法:示例:8.4 结构体指针作用: 通过指针访问结构体中的成员示例:8.5 结构体嵌套结构体作用: 结构体中的成员可以是另一个结构体例如: 每个老师辅导一个学员,一个老师的结构体中,记录一个学生的结构体示例:总结: 在结构体中可以定义另一个结构体作为成员,用来解决实际问题作用: 将结构体作为参数向函数中传递传递方式有两种:示例
2022-06-27 09:29:11 513
原创 【C++入门】指针
指针的作用: 可以通过指针间接访问内存指针变量定义语法: 示例:指针变量和普通变量的区别提问:指针也是种数据类型,那么这种数据类型占用多少内存空间?示例:7.4 空指针和野指针空指针:指针变量指向内存中编号为0的空间用途: 初始化指针变量注意: 空指针指向的内存是不可以访问的示例1:空指针野指针:指针变量指向非法的内存空间示例2:野指针7.5 const修饰指针const修饰指针有三种情况示例:7.6 指针和数组作用: 利用指针访问数组中元素示例:7.7 指针和函数作用: 利用指
2022-06-24 15:35:03 85
原创 【Java基础】数组
指的是一种容器,可以同来存储同种数据类型的多个值。但是数组容器在存储数据的时候,需要结合隐式转换考虑。比如:定义了一个 int 类型的数组。那么 boolean。double 类型的数据是不能存到这个数组中的,但是 byte 类型,short 类型,int 类型的数据是可以存到这个数组里面的。建议:容器的类,和存储的数据类型保持一致。举例:格式一:数据类型 [] 数组名比如:int [] array格式二:数据类型 数组名 []比如: int array []详解:注意点:方法括号跟数组名,谁写在前面,谁写
2022-06-21 15:51:58 1936
原创 【C++入门】函数
作用: 将一段经常使用的代码封装起来,减少重复代码一个较大的程序,一般分为若干个程序块,每个模块实现特定的功能。函数的定义一般主要有5个步骤:1、返回值类型2、函数名3、参数列表4、函数体语句5、return 表达式语法:返回值类型 :一个函数可以返回一个值。在函数定义中函数名:给函数起个名称参数列表:使用该函数时,传入的数据函数体语句:花括号内的代码,函数内需要执行的语句return表达式: 和返回值类型挂钩,函数执行完后,返回相应的数据示例: 定义一个加法函数,实现两个数相加6.3 函
2022-06-20 17:48:41 92
原创 【大数据离线开发】5.4、HDFS 的底层特性
什么是RPC?Remote Procedure Call,远程过程调用。也就是说,调用过程代码并不是在调用者本地运行,而是要实现调用者与被调用者二地之间的连接与通信。RPC的基本通信模型是基于Client/Server进程间相互通信模型的一种同步通信形式;它对Client提供了远程服务的过程抽象,其底层消息传递操作对Client是透明的。在RPC中,Client即是请求服务的调用者(Caller),而Server则是执行Client的请求而被调用的程序 (Callee)。举例:服务器端接口MyInterfa
2022-06-20 17:43:49 147
原创 【大数据离线开发】5.3、HDFS 的高级特性
定义:安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。HDFS 正常运行的时候,安全模式一定是off(关闭状态),是HDFS 的一种自我保护,如果HDFS 处于安全模式下,则表示 HDFS 是只读的状态。作用:检查数据块的副本率当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。在配置文件hdfs-d
2022-06-16 14:42:48 212
原创 【产品工具使用】InstallShield 打包VS程序
(1)首先要建立“Basic MSI Project”项目,程序最后打包为一个msi 单个安装文件。(2)我们双击“Project Assistant”,出现第一个选项卡“Application Information”,按照上面提示,基本信息设置根据需要填写。 (3)第二选项卡“Installation Requirements”,相关依赖配置,根据需要勾选,选择部署的目标环境和必须组件。 (4)第三选项卡“Installation Architecture”,这里不用设置。如果软件中有多个组件可以自定
2022-06-16 14:27:35 1129
原创 【大数据离线开发】5.2、HDFS 传输数据的原理
这一部分是HDFS的数据传输原理部分,很重要!!!这一部分是HDFS的数据传输原理部分,很重要!!!这一部分是HDFS的数据传输原理部分,很重要!!!重要的事情说三遍,建议自己动手画图理解。...
2022-06-15 11:20:04 255
原创 【Java基础】程序流程结构
在一个程序执行的过程中,各条语句的执行顺序对程序的结果是有直接影响的。所以,我们必须清楚每条语句的执行流程。而且,很多时候要通过控制语句的执行顺序来实现我们想要的功能。流程控制语句分类顺序结构判断和选择结构(if, switch)循环结构(for, while, do…while)顺序结构是程序中最简单最基本的流程控制,没有特定的语法结构,按照代码的先后顺序,依次执行,程序中大多数的代码都是这样执行的。顺序结构执行流程图:执行流程:示例:练习1:老丈人选女婿需求:键盘录入女婿的酒量,如果大于2斤,老丈人
2022-06-14 14:17:58 773
原创 【大数据离线开发】5.1、操作 HDFS
HDFS管理命令HDFS管理命令帮助信息:hdfs dfsadmin但是因为权限问题,导致本地程序运行失败四种方式可以改变HDFS的权限:第一种方式:设置(环境变量)执行程序的用户是:HADOOP_USER_NAME = root第二种方式:通过使用Java的 -D参数第三种方式:配置:dfs.permissions —> false第四种方式:使用命令改变目录的权限:hdfs dfs -chmod 777 /folder222拓展学习——Java -D参数-Dkey=??? -Dvalus=?
2022-06-14 14:08:00 208
原创 【大数据离线开发】4.3、HBase的体系结构
HBase是基于HDFS之上的NoSQL数据库作用:作用:Hregionserver越多,HBase/hadoop的实时查询存储能力越大,查询速度越快把HBase抽象成一个图书馆,Hregionserver抽象成书架HBase和Hadoop属于横向扩展的开源组件数据最终保存在Datanode中(表:目录 记录:Hfile文件) 实时查询/随机访问功能数据元信息保存在Zookeeper中...
2022-06-13 15:43:37 187
ds918镜像 synoboot-ds918-1.04-6.2.1-23824.rar
2022-06-29
UFS_Explorer_Professional_Recovery_5.18.1.rar
2022-06-29
ammintrin.h
2022-06-29
linux 环境源码部署snort
2022-04-20
AndroidStudio SDK
2022-04-20
veracrypt U盘磁盘加密 源代码编译部署
2022-04-20
pentaho-kettle-7.0.0.0R 版
2022-03-11
pentaho-kettle_7.0 发行版
2022-03-11
Java编程实现飞机大战
2022-03-03
Java实现黑客帝国代码雨
2022-03-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人