- 博客(37)
- 资源 (1)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 选择排序 快速排序 二分查找法
选择排序思想:拿到数组里面的第一个数依次和后面的每一个数进行比较 (假如是升序)遇到比第一个数小的就交换位置,直至把数组里面的每个数都进行比较一遍。快速排序思想:定义两个指针指向头部和尾部,找一个基准值(通常都是取数组的第一个位置的数 拿出来作为参考!)首先从尾指针进行比较 如果比参考的数 大的话 尾指针--,如果小就交换位置,然后头部指针++,如果头部指针的位置元素大于参考的元素的话就交
2017-11-14 11:44:21
493
原创 提交sql后执行过程
在如今大数据时代,为了提升研发效率各个公司基本都是用sql进行数据开发,那么一条sql在提交后是怎样运行在spark中呢?回答以上问题需要先了解sql执行的主要流程,以及这个流程中每一步骤具体都是做什么的。
2023-03-28 14:00:50
487
原创 数据结构之Bitmap
随着大数据技术日趋成熟,去重分析在企业日常分析中的使用频率愈来愈高,如何在大数据场景下快速地进行去重分析一直是一大难点,说到去重那么 Bitmap 一定会被提到,本文主要先介绍bitmap的原理,后续在其他章节中会继续介绍其在企业中是如何使用的。.
2021-07-31 13:12:07
4981
2
原创 PYthon+Django
参考资料:https://www.cnblogs.com/whiteHome/p/4954991.htmlhttps://www.cnblogs.com/sss4/p/7070942.html介绍django model 的一些常用查询方式一、ORM简介 对象关系映射(Object Relational Mapping,简称ORM)模式是一种为了解决面向对象与关系...
2018-08-28 10:43:50
244
转载 HUE
11、配置和使用HUE 一、Demo:启动和使用HUE 1、启动:hadoop:start-all.sh hbase: start-hbase.sh hbase-daemon.sh start thrift hive: hive --service metastore hiveserver2 HUE: bin/supervisor (/root/training/hue/build/e...
2018-08-28 10:42:45
877
原创 IDEA编译输出访问多层目录报错问题
IDEA编译输出访问多层目录报错问题 原因分析:程序运行时自动多添加了working directory 参数.如下1. 解决方案如下:2. 如果无法显示Configurations的内容因为安装了汉化补丁,一般因为汉化补丁导致,直接删除IDEA/lib目录下汉化补丁即可解决
2018-01-21 21:27:15
1086
原创 IOException:Timedout 300000ms waiting for namespace table to be assigned
删除hdfs 的hbase3目录和zk的hbase节点:重启hbase服务 IOException:Timedout 300000ms waiting for namespace table to be assigned原因:长时间无法分配namespace表报错如图查看已经分配的表:只有meta观察meta表:发现只有一条数据解决:如果hbase能启动第一
2018-01-21 21:24:55
3940
1
原创 程序运行时用的是本地的hadoop,尝试运行winutils.exe 报错
ExitCodeExceptionexitCode=-1073741515异常原因:程序运行时用的是本地的hadoop,尝试运行winutils.exe,如果报错,则需要安装一个软件,分析如下: 本项目Maven中的依赖中显示的只代表spark1.6整合hadoop2.6.0及以上,但maven中并没有hadoop的依赖,所以证明用的是本地安装的hadoop,我windows上的是
2018-01-21 21:19:05
2890
原创 Mapreduce console日志程序跑到INFO run..job就不走了
.如果console日志程序跑到INFOrun..job就不走了查看日志发现connectionreset peer原因是因为:hdfs,yarn有机器没有开机slaves查找列表start.sh命令集体启动服务因为机器没起也不会报错;但是服务也就在其他机器上起不来,所以job跑的时候需要的数据块又恰巧在那些机器上提交job的机器就要去请求那些机器,连接不到所以报错
2018-01-21 21:10:35
281
原创 Linux Error: Connection activation failed: Device not managed by NetworkManager or unavailable
LinuxError: Connection activation failed: Device not managed by NetworkManager or unavailable 网卡mac地址与ip配置不同!!网卡的原理:
2018-01-21 21:06:10
720
原创 mysql字段值作为字段列名解析报错解析异常:
3.数据库字段名称name小写User类 与数据库字段与User.xml文件的字段名称一致接口与xml文件名称一致.
2018-01-21 21:00:30
1578
原创 QueryRunner requires a DataSource to be invoked in this way, or a Connection should be passed in
1.注意有没有dataSoure:配置文件是否有误2.有没有connection:runner()里面是否添加ds参数.12.Connections could not be acquired from the underlying database!以上问题可能有一下原因造成:1,驱动配置有误:driver=com.mysql.jdbc.Driver2,数据库连接地址有误:u
2018-01-21 20:55:25
8818
原创 IDEA常用快捷键总结
常用快捷键:alt +enter 导包ctrl + x 剪切Ctrl + d 快速复制Ctrl + c 复制Ctrl + y 删除alt + F4 关闭IDEActrl + shift + F 全文搜索 类似eclipse中的ctrl+Hctrl +alt +l 格式化 (L的小写)Ctrl + / 或 ctrl+
2018-01-21 20:46:47
251
原创 Mapreduce 类型传递错误
一、Mapreduce 类型传递错误 以下是部分源码(由map传递value数据类型到reduce去接受)publicclass Order2User { publicstaticclass OrderMapperextends Mapper{ String name =null; @Override protec
2018-01-20 15:35:34
292
原创 hive常见语法错误分组聚合
一、hive常见语法错误 图 1.1当我们在用hive进行数据表的操作时 我们会用得到group by函数那么如图1.1所示假如按照 name 和 month 进行分组SELECT tl.name ,tl.month,max(tl.amount) ASmonth_amount,sum(tr.amount)
2018-01-20 15:33:58
1360
1
原创 Akka
从几个方面来讲解一下actor模型必须要解决的几个问题:一、 消息系统设计,或者叫线程间通信怎么做?可以把要通信的线程想象成两个人,这两人没法直接说话,都是通过邮件交流。假设有两个人:勤奋的学生和睿智的老师。学生每天早上都会给老师发送邮件,而聪明的老师都会回复一句名言。这里需要解释: 1、学生发送邮件。一旦发送成功,邮件不能再修改。这天然就具备了不可变性,即使一不小心,发了句老师
2018-01-20 15:25:59
229
原创 利用zookeeper开发简单的框架
服务端:public class OlioProvider { ZooKeeper zk = null; public void connectZK() throws Exception { zk = new ZooKeeper("cts01:2181,cts02:2181", 2000,null); } public void registServerInfo() t
2018-01-11 23:47:27
488
原创 Zookeeper入门
zookeeper1. zookeeper是什么?zookeeper是一个用于开发分布式系统时,进行分布式协调问题处理的基础中间件;它所提供的功能主要有3个: 1)可以为客户端提供注册信息的功能 2)可以为客户端提供查询信息的功能 3)可以为客户端提供数据监听并通知的功能 2. zookeeper是如何工作的?2.1 数据存储形式zook
2018-01-11 23:42:05
231
原创 linux 操作jdk 及基础入门
1、什么是linuxlinux就是一种操作系统;补充:操作系统是OS(operating system),就是一种软件,这种软件能够管理计算机的硬件,并提供访问这些硬件(cpu+内存+磁盘+显卡+网卡+声卡+显示器....)的软件接口,以便于应用程序开发者不用关注底层的硬件驱动细节; linux跟windows的区别?功能相似,但底层的实现机制完全不同;对上层软件提供的访
2017-12-22 22:26:40
397
原创 springmvc 处理的过程详解
架构流程1. 用户发送请求至前端控制器DispatcherServlet。2. DispatcherServlet收到请求调用HandlerMapping处理器映射器。3. 处理器映射器根据请求url找到具体的处理器,生成处理器对象及处理器拦截器(如果有则生成)一并返回给DispatcherServlet。4. DispatcherServlet通过
2017-12-10 20:35:25
340
原创 MySQL常用操作
MySQL篇今日任务Ø 完成对MySQL数据库和表以及表数据的CRUD操作Ø 完成对系统模型可以分析其中表关系并完成建表操作Ø 完成对MySQL数据库的多表查询及建表操作.1.1 数据库整体介绍【MySQL的概述】Ø 什么是数据库:数据库就是一个文件系统,需要通过标准SQL语句才能访问.Ø 常见的数据库:MySQL :开源免费的数据库,中小
2017-11-25 21:26:46
313
原创 分布式读写文件常见的错误
思路:客户端循环读写本地到的文件发送到服务端,然后服务端进行读写 然后将文件写到本地的磁盘中去,这样做 需要服务端 用for循环做 不能用while 循环 因为while循环会等待客户端关闭之后才能一次性的将文件写到本地!具体见下面文档。
2017-11-25 13:37:58
764
原创 eclipse Neon 版本快捷键大全
!!!!!!!!!新建工作空间的一件事情就改编码:改成UTF-8!!!!!!!!!!!!!!!Window->Preferences->General—>WorkSpace->将编码改成UTF-8,单级ok1.访问eclipse的官网,下载eclipse2.下载最新版本的和你电脑对应的eclipse,然后直接解压,然后发送eclipse.exe到桌面快捷方式3.双击运行,然后等待一
2017-11-08 15:34:19
1184
原创 关于 equals 和 == 的具体区别 从源码角度分析
一般用来比交 两个变量的在内存的地址值,equals 是比较两个字符串的内容是否相等!注意equals 只能比较字符串类型的内容,若要用equals比较其它类型的内容是否一样 就只能自己重写equlas方法。具体看下面的文件!
2017-11-08 12:48:29
189
原创 匿名内部类 和继承的关系
当我们实现一个抽象方法时。传统的做法就是创建一个子类去继承抽象类或者实现接口 然后实现里面的抽象方法 ,而匿名内部类大大简化了着一个步骤!看文件
2017-11-07 22:03:55
1482
3
原创 java 算法的精髓
当有时我们需要给出一个数字来寻找其在数组中的位置时候 以下方法不失为一个好的编程思想,首先定义一个变量=-1,然后再数组中进行比较 如果找到的话就赋值为 i,找不到就返回-1,,大家可以借鉴!public static int searchKey(int[] arr,int key){//声明一个位置变量int location = -1;//遍历数组中的每一个元素值和ke
2017-10-31 22:03:02
259
原创 javase 面试常见错误2
请写出下列程序结果:Ø System.out.println('a');Ø System.out.println('a'+1);Ø System.out.println("hello"+'a'+1);Ø System.out.println('a'+1+"hello");Ø System.out.println("5+5="+5+5);Ø System.out.
2017-10-25 08:55:52
294
2
原创 经典javase面试题
好多java开发人员在面试时经常会遇到一些数据类型转换的题目,乍一看觉得简单可是又有些不确定。。。相信很多人都有这个时候,那么今天我给大家将一个我面试的题,希望和众多程序猿一起分享!以下是代码:class test{ public static void main(String[] args){ byte by = 150; System.out.p
2017-10-24 19:42:05
535
2
多线程两种方式和区别总结
2017-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人