大数据精读周刊

翻译 Hive内部表和外部表的区别？Difference between Hive internal tables and external tables?

Hive在主节点上有一个关系数据库，它用于跟踪状态。例如，当你创建表CREATE TABLE FOO(foo string) LOCATION 'hdfs://tmp/';,，此表结构存储在数据库中。如果你是分区表，则分区存储在数据库中（这允许Hive要使用分区列表而不进入文件系统并找到它们）。 这些存储的信息就是’metadata’。删除内部表时，它会丢弃数据，并丢弃元数据。丢弃外部表时，它只丢弃元数据。https://stackoverflow.com/questions/17038414/d

原创 hive 表里面的 restore、parse 是什么？

有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse；出现这种情况主要是因为，在对数据抽取的时候，我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore → 原表select count(*)fromods_xx

原创 hive 如何判断 增量表和全量表

文章目录定义如何判断定义全量表全量表没有分区，表中的数据是前一天的所有数据，比如说今天是24号，那么全量表里面拥有的数据是23号的所有数据，每次往全量表里面写数据都会覆盖之前的数据，所以全量表不能记录历史的数据情况，只有截止到当前最新的、全量的数据。快照表那么要能查到历史数据情况又该怎么办呢？这个时候快照表就派上用途了，快照表是有时间分区的，每个分区里面的数据都是分区时间对应的前一天的所有全量数据，比如说当前数据表有3个分区，24号，25号，26号。其中，24号分区里面的数据就是从历史到2

原创 hive 解析 json 数据

文章目录hive 解析 json 数据1. 取出单个字段2 .同时取多个字段hive 解析 json 数据有这么两个函数：get_json_object()和json_tuple()1. 取出单个字段get_json_object(STRING json_string, STRING path)get_json_object函数第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；举个例子select get_json_obje

原创 hive用模糊查询是否影响效率

hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。索引之前已经说过，Hive 在加载数据的过程中不会对数据进行任何处理，甚至

原创 高效学习-笔记-左耳听风

文章目录高效学习：端正学习态度高效学习：源头、原理和知识地图信息源你要的是 “渔”，而不是 “鱼”。高效学习：深度，归纳和坚持实践举一反三写博客高效学习：如何学习和阅读代码高效学习：面对枯燥和量大的知识高效学习：端正学习态度如果你不能克服自己 DNA 中的弱点，不能端正自己的态度，不能坚持不能不断追问等，那么，无论有多好的方法，你都不可能学好。在开始这一系列文章之前，我想说，如果你想从我这里得到一些速成的方法，那么你就不用往下看了，学习是不可能速成的。这里只有一些方法和技巧，是我这么多年来行之有效的

原创 spss 为何打不开

spss 语音 编辑 讨论 上传视频SPSS（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（Solutions Statistical Package for the Social Sciences），但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”，这标志着SPSS的战略方向正在做出重大调整。SPSS为IBM公司推出的一

原创 计算机为什么要读书

为什么要读书因为那里面的理论足够正确，如果你看一些速成的薄册子，那里面的东西都是经过删减得到的，很多有歧义甚至是不准确的理论。而且经典著作大多数都是关于计算机基础理论的，看经典著作能帮助你打下好基础，为今后的学习提供帮助几个简单的C语言例子：A||B某不太靠谱的书籍会告诉你这是或运算，但经典著作还会告诉你这个预算当判断出A为真的时候，就会跳过B执行下面的语句，前几天碰到过三四人都在问这个问题，可见读书要读经典，理论全面的书籍读书推荐├─Java│ JavaGuide面试突

原创 细说Mybatis的dao层实现原理

1.Mybatis的Dao层实现1.1 传统开发方式1.1.1编写UserDao接口public interface UserDao { List<User> findAll() throws IOException;}1.1.2.编写UserDaoImpl实现public class UserDaoImpl implements UserDao { public List<User> findAll() throws IOException {

原创 细说Mybatis

1.Mybatis简介1.1原始jdbc操作（查询数据）1.2原始jdbc操作（插入数据）1.3 原始jdbc操作的分析原始jdbc开发存在的问题如下：①数据库连接创建、释放频繁造成系统资源浪费从而影响系统性能②sql 语句在代码中硬编码，造成代码不易维护，实际应用 sql 变化的可能较大，sql 变动需要改变java代码。③查询操作时，需要手动将结果集中的数据手动封装到实体中。插入操作时，需要手动将实体的数据设置到sql语句的占位符位置应对上述问题给出的解决方案：①使用数据库连接池初

原创 实战mybatis-xml增删改查

目录结构package mybatis.dao;import mybatis.entity.User;import java.util.List;public interface UserMapper { //查 User selectUserById(int id); //增 int addUser(User user); //删 int deleteUser(int id); //模糊查 .

原创 实战mybatis-注解开发

package mybatis.dao;import mybatis.entity.User;import org.apache.ibatis.annotations.Delete;import org.apache.ibatis.annotations.Insert;import org.apache.ibatis.annotations.Select;import org.apache.ibatis.annotations.Update;import java.util.List;.

原创 Java EE (Spring MVC + Spring + MyBatis +Redis )综述

Spring MVCStruts2 框架和 Spring 结合，多年来改变不了腕肿的老毛病，更为严重的是近年 来多次出现的漏洞问题，使得其名声和使用率大降。这个时候 Spring MVC 框架成了新一 代 MVC 框架的主流。它原生于 Spring 框架，可以无缝对接 Spring 的核心技术。与 Struts 不同，它的流程模块化，没有那么多雕肿的类，所以互联网应用的框架大部分使用的是SpringMVC。SpringIoC (控制反 转），它是一个大容器，方便组装和管理各类系统内外部资源，I

原创 SSM框架整合

SSM框架整合1.1 原始方式整合1.准备工作2.创建Maven工程3.导入Maven坐标4.编写实体类public class Account { private int id; private String name; private double money; //省略getter和setter方法}5.编写Mapper接口public interface AccountMapper { //保存账户数据 void save(Acco

原创 细说Mybatis的多表操作

1.Mybatis多表查询1.1 一对一查询1.1.1 一对一查询的模型MapperScannerConfigurer用户表和订单表的关系为，一个用户有多个订单，一个订单只从属于一个用户一对一查询的需求：查询一个订单，与此同时查询出该订单所属的用户[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gsPVXmqc-1606894417260)(img\图片1.png)]1.1.2一对一查询的语句对应的sql语句：select * from orders o,use

原创 Java 面向对象知识结构

文章目录@[toc]Java 面向对象知识结构面向对象和面向过程Java 有没有 goto?关键字 switch抽象类（abstract class）和接口（interface）Java 创建对象的方式有哪些？面向对象的特征有哪些？override（重写，覆盖）和 overload（重载，过载）什么是不可变对象？Java 面向对象知识结构Java 面向对象的内容很多，而且不像 jdk 那样成体系，可以粗略地分为两部分：Java 语法及关键字，属于形而下的语言规范，如接口与类、内部类，final

转载 单点登录（SSO）看这一篇就够了【转载】

单点登录（SSO）看这一篇就够了小忽悠 2018-09-06 148618浏览量简介： 背景 在企业发展初期，企业使用的系统很少，通常一个或者两个，每个系统都有自己的登录模块，运营人员每天用自己的账号登录，很方便。但随着企业的发展，用到的系统随之增多，运营人员在操作不同的系统时，需要多次登录，而且每个系统的账号都不一样，这对于运营人员来说，很不方便。背景在企业发展初期，企业使用的系统很少，通常一个或者两个，每个系统都有自己的登录模块，运营人员每天用自己的账号登录，很方便。但随着企业的发展，用到的

原创 实习课程笔记

软件工程技术架构第一阶段：单体应用 【war == controller service dto】第二阶段：服务化阶段【api 交织】第三阶段：云原生，弹性伸缩【容器化dockers】面向对象1.什么是对象2.什么是面向对象：封装继承多态企业文化简介科大讯飞股份有限公司名字由来公司部门发展历程价值观参考资料前端课程一、js数据类型二、数组增删改查增删改查三、DOM数据结构 和常用的apiDOM的结构常用语法Oj.

原创 VueCLi build 编译运行报错404

（1）项目打包终端运行命令npm run build打包成功的标志与项目的改变，如下图：idea里面点击index.html，通过浏览器运行，出现以下报错，如图：那么应该如何修改呢？具体步骤如下：1 新建文件vue.config.js2module.exports = { publicPath: process.env.NODE_ENV === 'production' ? './' : '/'};（2）运行打包项目需要开启服务运行

转载 github 生成目录

最简单的markdown插件笔者目前了解到的最最最简单的莫过于VSCode中的Markdown All in One插件了，安装后点开md文件，然后快捷键CTRL(CMD)+SHIFT+P，输入Markdown All in One: Create Table of Contents回车即可，如下：...

原创 CPU,内存,硬盘,指令与他们之间的关系

原创 2021-05-22

作者：东风风神链接：https://www.nowcoder.com/discuss/469123?type=all&order=time&pos=&page=1&channel=-1&source_id=search_all_nctrack来源：牛客网一面（电话面，大概20多分钟都是问基础）1.mysql索引原理 从B树说到B+树B+树所有的data的叶子节点，其余用于存放索引（b树每个索引节点都用data）==》可以放更多的索引B+树所有的叶子节点之

原创 object的方法

1protected Object clone()创建并返回一个对象的拷贝2boolean equals(Object obj)比较两个对象是否相等3protected void finalize()当 GC (垃圾回收器)确定不存在对该对象的有更多引用时，由对象的垃圾回收器调用此方法。4Class getClass()获取对象的运行时对象的类5int hashCode()获取对象的 hash 值6void notify()唤醒在该对象上等待...

原创 快速排序（C和Java）

快速排序快速排序（英语：Quicksort），又称划分交换排序（partition-exchange sort），简称快排，也是一种排序算法。最早由东尼·霍尔提出。在平均状况下，排序 n 个项目要 O(nlogn) 次比较。在最坏状况下则需要 O(n^2) 次比较，但这种状况并不常见。事实上，快速排序 O(nlogn) 通常明显比其他算法更快，因为它的内部循环（inner loop）可以在大部分的架构上很有效率地达成。从数列中挑出一个元素，称为“基准”（pivot），重新排序数列，所有比基准值小

原创 博客园next主题皮肤（cnblogs-theme-next-pro）

cnblogs-theme-next-pro博客园next主题皮肤地址： https://github.com/hiszm/cnblogs-theme-next-pro主题在 cnblogs-theme-next 的基础上进行了修改案例https://hiszm.cnblogs.com/优化增加后台 管理首页归档 布局分类布局博客版权签名<table style="background:white; padding: 10px 10px 10px

转载 单点登录（SSO）看这一篇就够了【转载】

单点登录（SSO）看这一篇就够了小忽悠2018-09-06148618浏览量简介：背景 在企业发展初期，企业使用的系统很少，通常一个或者两个，每个系统都有自己的登录模块，运营人员每天用自己的账号登录，很方便。但随着企业的发展，用到的系统随之增多，运营人员在操作不同的系统时，需要多次登录，而且每个系统的账号都不一样，这对于运营人员来说，很不方便。背景在企业发展初期，企业使用的系统很少，通常一个或者两个，每个系统都有自己的登录模块，运营人员每天用自己的账号登录，很方便。但随着企业的发展...

转载 验证码过期 跨域 前后端分离

方法/步骤1跨域的问题真的是太多了小编平时都是用火狐跟谷歌来测试网站我用火狐获取sessionid不会变化但是我用谷歌获取sessionid刷新一次页面变化一次这就让我很不知所措前后端分离跨域项目，sessionId不一致问题2然后我看了一下请求头和响应头果然是浏览器自身问题两个浏览器的请求头响应头竟然不相同前后端分离跨域项目，sessionId不一致问题前后端分离跨域项目，sessionId不一致问题3通过各种查找资料，发现是谷歌浏览器的问题Chrome 51 开始，浏览器

原创 BUG110

xhr.js?b50d:177 POST http://127.0.0.1:9000/business/admin/category/all net::ERR_CONNECTION_REFUSEDdispatchXhrRequest @ xhr.js?b50d:177xhrAdapter @ xhr.js?b50d:13dispatchRequest @ dispatchRequest.js?5270:52Promise.then (async)request @ Axios.js?0a06:6.

原创 八大算法总结

文章目录算法稳定性插入排序直接插入排序折半插入排序希尔排序交换排序冒泡排序快速排序选择类排序简单选择排序堆排序归并排序基数排序外部排序算法稳定性选择排序、快速排序、希尔排序、堆排序不是稳定的排序算法，冒泡排序、插入排序、归并排序、基数排序是稳定的排序算法插入排序有一个已经 有序 的数据序列，要求在这个已经排好的数据序列中插入一个数，但要求插入后此数据序列仍然有序，这个时候就要用到一种新的排序方法——插入排序法，插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、

转载 蓝屏代码page_fault_in_nonpaged_area (0x00000050)

蓝屏代码page_fault_in_nonpaged_area (0x00000050)方法一： 关闭快速启动“Win+X”-电源选项-其他电源设置-选择电源按钮的功能-更改当期不可用的设置-去掉“启用快速启动（推荐）”前的对勾-保存修改-重启电脑方法二：虚拟内存设置1）桌面右击此电脑图标，在右键菜单选择 属性-选择 高级系统设置 选项2）在打开的计算机属性窗口，选择【高级】选项卡，然后点击【性能】组的【设置】选项3）在打开的【性能选项】界面，选择【高级】选项卡，然后点击【虚拟内存】组的【更改】

转载 在idea中显示 npm Tool 的窗口

NPM Tool Window　在package.json 右键 Show npm Scripts，之后就可以通过View | Tool Windows | npm查看到【注意：只有使用Show npm Scripts命令打开它后，才能以此方式访问工具窗口。】配置可能没显示，直接dev启动前端，后续idea会自动配置。使用工具窗口运行npm或Yarn脚本。————————————————版权声明：本文为CSDN博主「_夜渐凉」的原创文章，遵循CC 4.0 BY-SA版权协议，转载.

转载 在idea中显示springboot面板的方法

在idea中显示springboot面板的方法更新时间：2020年11月12日 16:51:49 作者：weixin_44251036 这篇文章主要介绍了在idea中显示springboot面板的方法方便启动调试，本文通过代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下编辑 项目目录/.idea/workspace.xml 添加标签后，保存。重启idea即可。 1 2 3 4 5 6 7...

原创 一些常见的设计模式

参考答案：1. 创建型模式:（1） 工厂模式：返回具体对象的方法。比如说：java.lang.Proxy#newProxyInstance()；（2） 抽象工厂模式：抽象工厂模式提供了一个协议来生成一系列的相关或者独立的对象，而不用指定具体对象的类型。简单地说，一个创建新对象的方法，返回的却是接口或者抽象类的，比如说：java.util.Calendar#getInstance()；（3） 单例模式：用来确保类只有一个实例。比如说：java.lang.Runtime#getRuntime()；（4

原创 蘑菇街面试

蘑菇街3.24 先问基础、再讨论项目简单介绍一下自己全民制作人们，大家好，我是练习时长两年半的个人练习生蔡徐坤，喜欢唱、跳、rap、篮球。????????????CMS垃圾回收器与G1回收器的区别垃圾定义1.引用计数法 0收集 （维护成本，无法解决循环）2.根搜索：引用链，没有链就无；通过一系列“GC Roots”对象作为起点进行搜索，如果在“GC Roots”和一个对象之间没有可达路径，则称该对象是不可达的。不可达对象不一定会成为可回收对象。进入DEAD状态的线程还可以恢复，GC不会回收

原创 Java社招面试题

简单的如 StringBuffer 和 StringBuilder 的区别，可变性。String 不可变，StringBuilder 与 StringBuffer 是可变的。String 类中使用只读字符数组保存字符串，private final char value []，所以是不可变的（Java 9 中底层把 char 数组换成了 byte 数组，占用更少的空间)。StringBuilder 与 StringBuffer 都继承自 AbstractStringBuilder 类，在 Abst

原创 项目小结

文章目录汇报工程概述工程架构工程演示工程进度汇报工程概述工程架构工程演示登录分类管理讲师管理课程管理下载管理工程进度预计 3月底 左右完成智慧教育工程总体

转载 《给李彦宏先生的一封信》

很有感触，故转之。您好，李彦宏先生。上周我和出版社的朋友沈浩波先生去山东的纸厂销毁已经印刷完毕的一百多万册《独唱团》第二期，三百多吨的纸和工业垃圾一起进了化浆炉。几百万的损失对您来说可能是个小数目，但是对一个出版公司来说几乎等于一年白干了，那还得是国内数得上数的大出版公司。这个行业就是这么可怜的，一个一百多人的企业一年的利润还不如在上海炒一套公寓，而且分分钟要背上“黑心书商”的骂名。但是沈浩波一直很高兴，因为他说和百度的谈判终于有眉目了，百度答应派人来商量百度文库的事情，李承鹏，慕容雪村，路金波，彭浩翔

原创 csdn上传资源中断

问题解决csdn上传中断https://download.csdn.net/upload

原创 【项目】问答系统-代码-后台

文章目录后台登录用户管理用户的列表问题管理所有的问题待解决问题已解决问题无回答问题回答管理所有的回答未采纳回答已采纳回答问题分类问题分类列表添加顶级分类奖励管理金币奖励规则经验级别规则系统管理系统信息修改密码网站配置后台用户管理用户列表添加用户后台登录<?php/** * 登录控制器 */class LoginControl extends Control{ /** * 显示登录页 */ public function index(){ $this->displ

原创 【项目】问答系统-界面-后台

文章目录用户管理用户的列表问题管理所有的问题待解决问题已解决问题无回答问题回答管理所有的回答未采纳回答已采纳回答问题分类问题分类列表添加顶级分类奖励管理金币奖励规则经验级别规则系统管理系统信息修改密码网站配置后台用户管理用户列表添加用户用户管理用户的列表问题管理所有的问题待解决问题已解决问题无回答问题回答管理所有的回答未采纳回答已采纳回答问题分类问题分类列表添加顶级分类奖励管理金币奖励规则经验级别规则系统管理系统信息修改密码网站配置后