- 博客(435)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 Hive事务表
hive的事务表事务和非事物的区别和联系事务表与非事务表_KreaWu的博客-CSDN博客_事务表1.hive事务表在hdfs的存储深入理解 Hive ACID 事务表_张吉的博客-CSDN博客_hive事务表2.hive支持事务表的配置a.thrift的方式Hive事务表_千里之行始于足下-CSDN博客_hive事务表创建的表必须是 分桶的 orc 的 事务表create table t1(id int, name string)clustered by (id) into 8 buck
2021-12-03 10:40:08
2292
转载 主成分分析法
链接：主成分分析 (一）： 基本思想与主成分估计方法_冷月无声的博客-CSDN博客_主成分分析的基本思想主成分分析（principal component analysis）是1901年Pearson对非随机变量引 入的，1933年Hotelling将此方法推广到随机向量的情形，主成分分析和聚类分析有很 大的不同，它有严格的数学理论作基础。 主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我 们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。通常是选出比原始 变量个...ht
2021-10-15 20:41:48
325
转载 Linux 磁盘坏掉一块，换磁盘步骤 (非系统盘)
发现公司有一块硬盘坏掉了，幸好系统没有安装到这个磁盘下面，带着一块新硬盘去机房重启服务器，过不了检测，提示某个盘符下面的文件无法访问。解决办法1 将自读的文件系统修改可以编辑的状态 mount -o remount rw /2 vi /etc/fstab 给掉坏掉的磁盘注释掉 在每行前面加 #3 重新启动系统，不在监测坏的分区盘4 关闭机器，换上坏掉磁盘，启动服务器5 重新格式化磁盘。 1) fisk /dev/sdb 2) 格式化文...
2021-10-13 17:19:56
1482
转载 sql语句中with as 的用法
原文链接：https://blog.csdn.net/jia718/article/details/88253918待学习补充
2021-07-31 18:21:38
469
转载 使用python实现两个文件夹里文件的对比（包含内容的对比）
#-*-coding:utf-8-*- #=============================================================================== # 目录对比工具(包含子目录 )，并列出# 1、A比B多了哪些文件 # 2、B比A多了哪些文件 # 3、二者相同的文件:文件大小相同 VS 文件大小不同 (Size相同文件不打印:与Size不同文件显示未排序)#================================.
2021-07-28 09:57:45
3848
转载 A*寻路算法详细解读
文章目录 A*算法描述 简化搜索区域 概述算法步骤 进一步解释 具体寻路过程 模拟需要更新F值的情况 Lua代码实现 在学习A*算法之前，很好奇的是A*为什么叫做A*。在知乎上找到一个回答，大致意思是说，在A*算法之前有一种基于启发式探索的方法来提高Dijkstra算法的速度，这个算法叫做A1。后来的改进算法被称为A*。*这个符号是从统计文献中借鉴来的，用来表示相对一个旧有标准的最优估计。启发式探索是利用问题拥有的启发信息来
2021-06-21 17:09:21
898
转载 intellij idea 的全局搜索快捷键方法
1、Ctrl+N按名字搜索类相当于eclipse的ctrl+shift+R，输入类名可以定位到这个类文件，就像idea在其它的搜索部分的表现一样，搜索类名也能对你所要搜索的内容多个部分进行匹配，而且如果能匹配的自己写的类，优先匹配自己写的类，甚至不是自己写的类也能搜索。2、Ctrl+Shift+N按文件名搜索文件同搜索类类似，只不过可以匹配所有类型的文件了。3、Ctrl+H查看类的继承关系，例如HashMap的父类是AbstractMap，子类则有一大堆。4、Ctrl+Alt+B查看
2021-06-21 17:07:57
882
转载 kernel panic 分析解决方法
1何谓OOPSOops是美国人比较常有的口语。就是有点意外，吃惊，或突然的意思。“Oops”并不是很严重，正如在Britney Spears的“Oops I Did It Again”那首歌的歌词中，也是一种轻描淡写，有时含有抱歉的意思。http://v.youku.com/v_show/id_XMTM0ODgxMDYw.html对于Linux内核来说，Oops就意外着内核出了异常，此时会将产生异常时CPU的状态，出错的指令地址、数据地址及其他寄存器，函数调用的顺序甚至是栈里面的内容都打印出来..
2021-06-15 11:34:19
5707
转载 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure 解决办法
09:00:30.307 [http-8080-6] ERROR org.hibernate.transaction.JDBCTransaction -JDBC begin failedcom.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 56,237,340 milli.
2021-06-10 10:31:30
919
原创 Redis入门到精通
学习链接：https://www.bilibili.com/video/BV1CJ411m7Gc?from=search&seid=76633557929097109深度学习的内容待整理，敬请期待~
2021-05-19 10:15:07
120
转载 Spring整合Ehcache管理缓存
学习链接：https://www.cnblogs.com/jingmoxukong/p/5975994.html感谢阅读，深度学习内容有待整理，敬请期待~
2021-05-19 10:13:12
132
转载 java转大数据方向学习路线
原文链接：https://blog.csdn.net/u013967628/article/details/83656560?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-b
2021-04-22 21:30:35
161
转载 【DDR3/EMMC】两者的区别和【UFS/eMMC/LPDDR】三者的关系
DDR3内存条和eMMC存储器区别： 1. 存储性质不同；2. 存储容量不同 ；3. 运行速度不同；4. 用途不同。具体区别如下：1、存储性质不同：eMMC是非易失性存储器，不论在通电或断电状态下，数据都是可以存储的，而DDR3内存是易失性存储器，断电同时，数据即丢失。2、存储容量不同：eMMC的存储容量要比DDR3内存大3-4倍，常见有32G，而DDR3内存容量相对较小，常见有2-8G。3、运行速度不同：DDR3内存运行速度要比eMMC快得多。4、用途不同：eMMC主要用...
2021-03-22 17:03:28
5249
转载 统计学习方法三要素：模型、策略、算法
在读李航的《统计学习方法》，记录一些读书笔记：（一）总览统计学习方法三要素：模型、策略、算法：（二）一些细节机构风险其实就是经验风险加上惩罚项：定义如下：等式右边第一项是经验风险，最后面一项就是惩罚项，其中J(f)为模型复杂度。结论：想要结构风险小，必须经验风险与模型复杂度同时小，其中J(f)为模型原文链接：https://blog.csdn.net/cc1949/article/details/78904768...
2021-03-02 21:22:01
198
转载 Vue模块导入报错：Module not found: Error:[CaseSensitivePathsPlugin]
今天学习vue项目练手时，出了一个小小的错误：检查了下，发现自己在模块导入的时候没有和组件文件名大小写完全一致造成的。改为上述，即必须和文件名一毛一样，大小写敏感，唉。居然只是大小写错误，要注意大小写敏感问题转载：https://blog.csdn.net/qq_36256590/article/details/110431544...
2021-02-20 11:56:26
13357
转载 hadoop之hdfs生产数据块损坏修复方法
1、手动修复：hdfs fsck / #首先检查哪些数据块丢失了hdfs debug recoverLease -path 文件位置 -retries 重试次数# 修复指定路径的hdfs文件，尝试多次 此时，hdfs就能被修复了，切记不要使用hdfs fsck / -delete命令，它是删除所有损坏的块的数据文件，会导致数据彻底丢失，当然若只有一个副本，或所有副本均已经损坏，则可以执行此命令。2、自动修复hdfs当然会自动修复损坏的数据块，当数据块损坏后...
2021-02-19 14:09:28
3525
原创 比勤奋更重要---底层思维
今天看了混沌大学的一篇文章，很是感触。看书学习获取的是信息而且，真正的知识是能够改变我们行动的信息，可以是改变我们的思考问题的方式或者是做事的方法。1、知识深度构建认知优势王兴说过一句话：多数人为了逃避真正的思考愿意做任何事情。以前改变命运的或许是知识数量，而现在改变命运的直男是认知的深度。有深度的认知能力是这样的：在分析问题的时候，能够跳出问题本身思考更普遍的情况；在寻求答案的时候，能够根据理由可信度判断是否接受这个结论。临界知识，便是经过深度思考后，发现具有普遍指导意义的规律或定律。
2021-02-02 20:27:19
302
3
转载 vue+vscode+nodejs 开发环境搭建
nodejs安装配置1.下载地址：https://nodejs.org/en/2.默认安装安装完成后，执行npm -v 出现版本号则表示安装成功。3.配置在node安装目录下新建两个文件夹node_global和node_cache 配置npm全局模块的存放路径以及cache的存放路径，执行如下命令：npm configsetprefix"D:\Program Files\nodejs\node_global"npm configsetprefix"D:...
2021-02-02 12:17:17
584
转载 使用vscode运行vue项目
！！学习完vue环境搭建并创建项目后下面我们介绍使用vscode运行vue项目。！！文章参考：https://www.csdn.net/gather_29/OtTagg3sNzA2LWJsb2cO0O0O.html&https://www.jianshu.com/p/80ae9b1b8fae【如果你和我一样是菜鸟的话，点进来的时候不要被文章长度吓到了，因为我写的特别详细所以看起来篇幅比较长，加上截图比较庞大。我怀疑之前由于截图较小 博客没自动给我加水印，导致文章发不出去，咱就是怀疑，咱也...
2021-02-01 20:54:51
26812
7
原创 IDEA配置VUE项目导入调试大全-Maven、nodejs、JDK、项目导入、问题解决
maven 环境变量的配置https://blog.csdn.net/love_caicai/article/details/82228985使用IntelliJ IDEA 配置JDK（入门）https://blog.csdn.net/nobb111/article/details/77116259最简单的在IntelliJ IDEA导入一个本地项目教程https://blog.csdn.net/luo609630199/article/details/82706322...
2021-02-01 15:15:34
630
转载 ActivityManager解析及使用
前言Activity可以获取运行中的应用信息，可以获取到servcie,process,app,memory,Task信息等。获取信息ActivityManager.MemoryInfo MemoryInfo中重要的字段：availMem（系统可用内存），totalMem（总内存），threshold（低内存阈值，即低内存的临界线），lowMemory（是否为低内存状态） Debug.MemoryInfo Debug.MemoryInfo主要用于获取进程下的内存信息。 Activ...
2021-01-30 11:43:58
2416
转载 Activiti进阶（一）--工作流（流程框架）
转载：https://blog.csdn.net/qq_421128工作流Activiti项目是一项新的基于Apache许可的开源BPM平台，从基础开始构建，旨在提供支持新的BPMN 2.0标准，包括支持对象管理组（OMG），面对新技术的机遇，诸如互操作性和云架构，提供技术实现。Activiti是一个独立运作和经营的开源项目品牌，并将独立于Alfresco开源ECM系统运行。 Activiti将是一种轻量级，可嵌入的BPM引擎，而且还设计适用于可扩展的云架构。 Activiti将提供宽松的A..
2021-01-27 20:59:05
543
原创 SQL FULL OUTER JOIN 及FULL JOIN关键字
SQL FULL OUTER JOIN 关键字FULL OUTER JOIN 关键字只要左表（table1）和右表（table2）其中一个表中存在匹配，则返回行.FULL OUTER JOIN 关键字结合了 LEFT JOIN 和 RIGHT JOIN 的结果。SQL FULL OUTER JOIN 语法SELECTcolumn_name(s)FROMtable1FULL OUTER JOINtable2ONtable1.column_name=table2.column_...
2020-12-15 09:22:19
2181
转载 VGA , CVBS , HDMI 三者的区别
VGAVGA接口也叫D-Sub接口。VGA接口是一种D型接口，上面共有15针，分成三排，每排五个。VGA接口是显卡上应用最为广泛的接口类型，绝大多数的显卡都带有此种接口。影碟机拥有VGA接口就可以方便的和计算机的显示器连接，用计算机的显示器显示图像。VGA接口传输的仍然是模拟信号，对于以数字方式生成的显示图像信息，通过数字/模拟转换器转变为R、G、B三原色信号和行、场同步信号，信号通过电缆传输到显示设备中。对于模拟显示设备，如模拟CRT显示器，信号被直接送到相应的处理电路，驱动控制显像管生成图像。..
2020-12-12 10:53:26
3796
转载 sql 常用函数
一、数学函数ABS(x) 返回x的绝对值BIN(x) 返回x的二进制（OCT返回八进制，HEX返回十六进制）CEILING(x) 返回大于x的最小整数值EXP(x) 返回值e（自然对数的底）的x次方FLOOR(x) 返回小于x的最大整数值GREATEST(x1,x2,...,xn)返回集合中最大的值LEAST(x1,x2,...,xn)返回集合中最小的值LN(x)返...
2020-12-11 10:08:49
132
转载 【ClickHouse】空值问题
今天查询遇到个问题，一直报''空值错误，查询条件中，加入日期空值处理解决了where toDateOrNull(dat_dt)>='2020-11-01' and toDateOrNull(dat_dt)<='2020-12-02'目录1.建表时的空值问题2.查询时的空值问题3.关联问题 我们再ClickHouse环境下，SQL很多语法是和HIVE、Spark环境下不同的。以下从三个方面说明CK下空值的问题。1.建表时的空值问题如果我们建表时，不特殊说...
2020-12-02 15:58:37
3801
转载 Kudu主键选择策略
每个Kudu 表必须设置Pimary Key(unique), 另外Kudu表不能设置secondary index, 经过实际性能测试, 本文给出了选择Kudu主键的几个策略, 测试结果纠正了我之前的习惯认知.简单介绍测试场景: 表中有一个unqiue字段Id, 另外还有一个日期维度字段histdate, 有三种设置kudu PK的方法, 分别是:表设计方案1 (histdate, id)作为联合主键, 日期字段放在前.表设计方案2 (id,histdate)作为联合主键, 日期字段放在后...
2020-11-25 14:49:54
468
转载 Kudu在使用过程中的各种限制（官方）
Kudu在使用过程中有各种限制，或者说叫注意事项，我结合官方文档和自己的经验进行了如下总结。Schema主键表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此外，主键列必须为NOT NULL。 不支持自动生成的主键（如自增列） 组合主键的所有列在编码后，大小不能大于16K列不支持CHAR、VARCHAR、DA..
2020-11-25 14:43:14
890
转载 Presto入门介绍
1、Presto基本认识1.1 定义Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto是一个OLAP的工具，擅长对海量数据进行复杂的分析；但是对于OLTP场景，并不是Presto所擅长，所以不要把Presto当做数据库来使用。和大家熟悉的Mysql相比：首先Mysql是一个数据库，具有存储和计算分析能力，而Presto只有计算分析能力；其次数据量方面，Mysql作为传统单点关系型数据库不能满足当前大数据量的需求，于是有各种大数据的存储
2020-11-05 20:42:13
850
转载 Apache Kudu
前言 在Kudu出现前，由于传统存储系统的局限性，对于数据的快速输入和分析还没有一个完美的解决方案，要么以缓慢的数据输入为代价实现快速分析，要么以缓慢的分析为代价实现数据快速输入。随着快速输入和分析场景越来越多，传统存储层的局限性越来越明显，Kudu应运而生，它的定位介于HDFS和HBase之间，将低延迟随机访问，逐行插入、更新和快速分析扫描融合到一个存储层中，是一个既支持随机读写又支持OLAP分析的存储引擎。本篇文章研究一下Kudu，对其应用场景，架构原理及基本使用做一个总结。Kudu介绍 在
2020-10-27 17:32:09
983
转载 Linux shell 之 提取文件名和目录名的一些方法
很多时候在使用Linux的shell时，我们都需要对文件名或目录名进行处理，通常的操作是由路径中提取出文件名，从路径中提取出目录名，提取文件后缀名等等。例如，从路径/dir1/dir2/file.txt中提取也文件名file.txt，提取出目录/dir1/dir2，提取出文件后缀txt等。下面介绍两种常用的方法来进行相关的操作。一、使用${}1、${var##*/}该命令的作用是去掉变量var从左边算起的最后一个'/'字符及其左边的内容，返回从左边算起的最后一个'/'（不含该字符）的右边的内容
2020-10-21 17:49:31
143
原创 COUNT(1)、COUNT(*) 与 COUNT(列名) 到底有什么区别？
执行效果上： count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略为NULL的值。 count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略为NULL的值。 count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是指空字符串或者0，而是表示null）的计数，即某个字段值为NULL时，不统计。 执行效率上： 列名为主键，count(列名)会比count(1)快 列名不为主键，count...
2020-10-20 14:59:04
159
转载 一分钟带你分清Python的模块、包和库的区别
python的流行主要依赖于其有众多功能强大的库（Library），Python自带的标准库（Standard Library）可以满足大多数的基本需求，除了函数库以外，模块（Module）和包（Package）也常会被提及。其中库、模块和包常常会分不清谁是谁今天就一起来学习下。模块：模块是一种以.py为后缀的文件，在.py文件中定义了一些常量和函数。模块的名称是该.py文件的名称。模块的名称作为一个全局变量__name__的取值可以被其他模块获取或导入。模块的导入通过ipmort来实现，导入模块的
2020-10-20 08:49:39
669
原创 提问+思考，持续更新
1、学会提问论题和结论是什么？理由是什么？是否有不明确的词语？什么是价值假设和描述性假设？推理过程中有没有谬误？证据效力如何？数据有没有欺骗性？什么重要信息漏掉？能得出哪些合理的结论？2、价值观-认为比较有价值的事情自我价值：对社会和他人产生价值，能实现自己价值证明，并帮别人实现价值证明感恩很重要：感恩父母、亲朋好友，只在乎在乎你的人继承：提供自己最大限度的支持，允许自由探索和成长朋友：量不在多，偶尔聚一起思想碰撞，共同进步3、我们每做一个决定都携带太多的个人包袱-经历、梦想、价
2020-09-08 19:38:55
133
转载 基于Hadoop的数据仓库Hive 基础知识
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反应历史变化（Time Variant）的数据集合，用于支持管理决
2020-09-03 09:33:14
605
原创 看问题的高度有多重要
这大概就是领导之所以是领导，我之所以是螺丝钉的根本原因吧。工作中看到很多扯皮的事情，都怕问题卡到自己这里，都会斤斤计较各种得失，面对那堆积如山的工作，大概推卸掉一份责任成就感最强了吧。但是就有那么一些人，迎难而上。也许你期待有个圆满结果，那些迎难而上的人攻坚克难、收获满满。但是现实也不完全如此，可是只要你没完完全全失败，只要你把控好了对待问题的角度，你至少能得到极大的提升。1、看问题的高度决定态度前不久有个小领导和别人扯皮，唾沫横飞、唇枪舌战，结局还是责任田划分不均，大领导喊来还在纠结的两个人.
2020-07-29 00:15:58
558
原创 成长路上，忆悠草
1、工作需要的是冲劲及持久力工作之后师傅说的最多的一句话就是，工作是长跑，比的不是冲劲，而是冲劲的持久力。这个必须相信，身边工作十年左右的人，都是这样日复一日、年复一年的加班加点，这堆积如山的工作量，若不是既有冲劲又有持久力，怎么耐得住。要学会不短期过度消耗自己，做好长跑的准备。你的对手永远都是自己心态果然是极有影响力的因素，男生有着天然的优势，不像心思敏锐的女生，总是爆出无数个假想敌，男生更多的就是关注自己。其实想想很狭隘呀，每个人都有着自己要学习的地方，工作不是幼儿园，比同学乖巧就会有糖吃。每
2020-07-28 23:43:41
170
原创 测试类型基础总结
1、集成测试1）自底向上先测试底层部件/单元和模块，然后向上实现集成测试。最底层使用桩/驱动程序进行测试；桩/驱动程序是为特定目的而设计的，使用他们之前需要先对他们进行测试，通常是编写的代码。桩模拟被调用函数的片段，驱动程序是模拟调用函数的代码片段。优点：可以测试到每个组件的正确性，增量式集成中很有效。缺点：顶层重要但最后测试，测试速度慢；桩和驱动程序需要维护；自顶向下优点：先测试顶...
2020-07-20 17:05:54
161
转载 Hadoop集群运维-基础、均衡器
为了使Hadoop集群保持健康的状态，集群需要进行日常的维护，主要从基础运维，集群扩容和异常处理三个方面。1、基础运维1.1 启动 / 停止Hadoop在Hadoop_HOME/bin下执行./start-all.sh或者./stop-all.sh命令。（官方不推荐使用这两个命令）1.2 启动 / 停止 HDFS在Hadoop_HOME/bin下执行./start-dfs.sh或者./stop-dfs.sh命令。1.3 启动 / 停止 MapReduce在Hadoop_H
2020-07-20 16:54:49
469
APP开发技术解决方案模板
2019-02-17
android-support-4.0.jar.
2017-11-06
mysql-connector-java-5.0.8-bin
2017-10-17
servlet-api.jar(tomcat7.0)
2017-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人