- 博客(16)
- 收藏
- 关注
RSS订阅原创 过河问题
解题笔记1——过河问题问题描述：在漆黑的夜里，N位旅行者来到了一座狭窄而且没有护栏的桥边。如果不借助手电筒的话，大家是无论如何也不敢过桥去的。不幸的是，N个人一共只带了一只手电筒，而桥窄得只够让两个人同时过。如果各自单独过桥的话，N人所需要的时间已知；而如果两人同时过桥，所需要的时间就是走得比较慢的那个人单独行动时所需的时间。问题是，如何设计一个方案，让这N人尽快过桥。假设N <= 1000。思路：假设N个旅行者的过桥时间分别为（已排序）{T1, T2, T3, T4 … Tn}，N个旅行者过桥的
2020-09-14 23:26:07
771
原创 复合主键做历史拉链表
分享技巧之前，先普及两个概念：1）什么是维度？维度是维度建模的基础和灵魂。在维度建模中，讲度量称为“事实”，将环境描述为“维度”，维度是用于分析事实所需要的多样环境。例如，在分析新增过程中，可以通过平台、手机厂商、版本号等维度描述用户的属性。维度所包含的标识维度的列成为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。例如，在sql查询中，获取连信有头像和风控合法用户，是通过约束用户头像状态属性和风控级别属性来实现的；统计连信不同手机厂商的每日新增用户数，是通过用户手
2020-08-18 16:40:01
1016
原创 内部表与外部表详解
内部表&外部表定义：未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一
2020-08-13 14:52:36
6113
2
原创 Spark-core之Spark的算子
目录一.RDD基础1.什么是RDD2.RDD的属性3.RDD的创建方式4.RDD的类型5.RDD的基本原理二.Transformation三.Action四.RDD的缓存机制五.RDD的Checkpoint(检查点)机制：容错机制六.RDD的依赖关系和Spark任务中的Stage1.RDD的依赖关系2.Spark任务中的Stage七.RDD基础练习一.RDD基础RDD1.什么是RDD？R...
2020-08-03 20:40:04
196
原创 java中Volatile关键字详解
一、基本概念Java内存模型中的可见性、原子性和有序性可见性可见性是一种复杂的属性，因为可见性中的错误总是会违背我们的直觉。通常，我们无法确保执行读操作的线程能适时地看到其他线程写入的值，有时甚至是根本不可能的事情。为了确保多个线程之间对内存写入操作的可见性，必须使用同步机制。 可见性，是指线程之间的可见性，一个线程修改的状态对另一个线程是可见的。也就是一个线程修改的结果。另一个线程马上...
2019-12-29 16:13:00
64
原创 HDFS命令客户端操作-hadoop fs -ls
使用hadoop fs -ls 在命令行客户端查到的文件与网页上（50070）上所看到的的文件不一致，实际上是在命令行客户端上查到的文件是本地目录上的文件而不是hdfs中文件的内容，原因是：在hadoop配置文件中没有指定HDFS的默认路径解决方法：①修改配置文件为：<configuration> <property> <n...
2019-08-15 10:10:55
1987
原创 离线数据学习笔记
离线任务开发离线任务开发模块主要是设计数据计算流程，并实现为多个相互依赖的任务，供调度系统自动执行的主要操作页面。对象在数据开发阶段，DTinsight.Batch提供了4种对象：任务、脚本、资源和函数。它们之间的项目关系如下图所示：任务：数据开发的主要对象，包含周期属性和依赖关系，是数据计算的主要载体，支持多种类型的任务和节点适应不同场景，具体参见任务类型；脚本：数据开发的辅助，不包...
2019-07-30 18:37:16
1847
原创 StringBuffer&StringBuilder&String
一、StringBuffer&amp;amp;amp;amp;StringBuilder&amp;amp;amp;amp;String三者的区别这三个类之间的区别主要是在两个方面，即运行速度和线程安全这两方面。首先说运行速度，或者说是执行速度，在这方面运行速度快慢为：StringBuilder &amp;amp;amp;gt; StringBuffer &amp;amp;amp;gt; StringString最慢的原因：Str
2019-03-17 13:23:51
140
转载 linux启动报错ERROR The server quit without updating PID file
linux启动报错ERROR The server quit without updating PID file (/usr/local/var/mysql/bogon.pid)今天网站web页面提交内容到数据库，发现出错了，一直提交不了，数找了下原因，发现数据写不进去！第一反应，重启mysql数据库，一直执行中，停止不了也启动不了，直觉告诉我磁盘满了 ！用df命令查了下，果然磁盘满了，因为当...
2019-03-14 14:25:26
1359
转载 DQL、DML、DDL、DCL的概念与区别
SQL(Structure Query Language)语言是数据库的核心语言。SQL的发展是从1974年开始的，其发展过程如下：1974年-----由Boyce和Chamberlin提出，当时称SEQUEL。1976年-----IBM公司的Sanjase研究所在研制RDBMS SYSTEM R时改为SQL。1979年-----ORACLE公司发表第一个基于SQL的商业化RDBMS产品...
2019-03-14 09:33:40
140
转载 collection框架之HashMap与HashSet
HashMap和HashSet的区别是Java面试中最常被问到的问题。如果没有涉及到Collection框架以及多线程的面试，可以说是不完整。而Collection框架的问题不涉及到HashSet和HashMap，也可以说是不完整。HashMap和HashSet都是collection框架的一部分，它们让我们能够使用对象的集合。collection框架有自己的接口和实现，主要分为Set接口，Lis...
2019-03-07 19:52:39
269
转载 深入java反射
一般情况下，我们使用某个类必定知道它是什么类，并且知道它是用来做什么的。于是我们先直接对这个类进行实例化，之后使用这个类对象进行操作。Apple apple = new Apple();//直接初始化【正射】apple.setPrice(5);上面的这样进行类对象的初始化，我们可以理解为【正】。而反射则是一开始我们并不知道我要初始化的类对象是什么，自然也无法使用new关键字来创建对象了。...
2019-03-06 16:07:58
168
转载 springmvc和springboot的区别
springmvc和springboot的区别Spring 框架就像一个家族，有众多衍生产品例如 boot、security、jpa等等。但他们的基础都是Spring 的 ioc和 aop ioc 提供了依赖注入的容器 aop ，解决了面向横切面的编程，然后在此两者的基础上实现了其他延伸产品的高级功能。Spring MVC是基于 Servlet 的一个 MVC 框架 主要解决 WEB 开发的问...
2019-03-05 13:47:30
83
转载 idea导入(import)项目和打开(open)项目的区别
idea导入(import)项目和打开(open)项目的区别问题：每次接手老项目，都得从git或svn下载下来，但是如果之前的项目不是用idea写的怎么办，可是你又习惯啦idea,那你必须把项目在idea上跑起来，那是用import还是用open呢,如何抉择，这篇文章就是针对这种情况分析的分析：1.首先如果你没有把svn或git集成idea,直接下来的项目，那这种情况，他并不属于i...
2019-02-25 13:14:27
1826
原创 root用户Linux 环境变量的配置解决(-bash: jps: command not found)有关问题
root用户Linux 环境变量的配置解决(-bash: jps: command not found)有关问题原因：java-1.X.X-openjdk-devel这个包，他提供了jps这个工具，所以需要安装JDK,并正确配置环境变量。解决方案：1、安装JDK到/root/bigdata/jdk1.8.0_201；2、修改/etc/profile配置文件为：注意：主要是添加JAVA_...
2019-02-22 09:33:12
429
原创 hadoop 50070问题
关于Hadoop集群后不能通过master:50070访问web界面原因：新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导...
2019-02-13 21:12:21
501
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人