banban_ping的博客

原创 CSDN之夏日的我们

原创 解决kafka错误net.jpountz.util.Utils.checkRange([BII)V

Lost task 27.0 in stage 2.0 (TID 101, ubd-hadoop-s0089)，然后是检查jar包冲突， java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V，最后io异常java.io.IOException: Connection reset by peer导致Container failed。

原创 【gp数据库】查询GP中某张表的分布键信息

本文参考https://blog.csdn.net/sinat_35630008/article/details/82192574?spm=1001.2101.3001.6650.20&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-20.no_search_link&depth_1-utm_source=distribute.pc_relevant.

原创 Eureka Server报错：Retry limit reached； giving up on complet the request

描述：在SpirngCloud项目中，使用了一段时间后，服务仍然可以正常启动，业务正常，可能由于频繁重启日志出错如下：现象：2021-10-09 09:35:11.436 WARN [nfoReplicator-0] c.n.d.s.t.d.RetryableEurekaHttpClient : Request execution failed with message: java.net.SocketTimeoutException: Read timed out2021-10-09 09

原创 GP时间间隔函数整理

GP时间间隔函数整理使用时候去掉select，这里只是方便在数据库加上的：昨天:select TO_CHAR(now() + ‘-1 day’,‘yyyy-mm-dd’) ;select to_char(current_date - interval ‘1 day’,‘yyyy-mm-dd’);今天:select to_char(now(),‘yyyy-mm-dd’);SELECT to_char(current_date,‘yyyy-mm-dd’);本周一：select TO_CHAR

原创 Maven的生命周期

Maven的生命周期是抽象的，具体的操作由插件实现，类似于java的模板设计模式。1、生命周期阶段 处理 描述 验证 validate 验证项目 验证项目是否正确且所有必须信息是可用的 编译 compile 执行编译 源代码编译在此阶段完成 测试 Test 测试 使用适当的单元测试框架（例如JUnit）运行测试。 包装 p...

原创 将SPSS分析技术应用于大数据

将SPSS分析技术应用于大数据 数十年来，IBM SPSS 为统计人员和数据科学家提供了强大的工具。多年来，SPSS 平台已发生了演变，支持数据挖掘流程的所有阶段，包括模型开发、模型部署和模型刷新。在过去两年，SPSS 中增加了处理大数据的新功能。本文将介绍 SPSS 如何与 IBM 大数据产品组合...

转载 Spark On YARN内存和CPU分配

本篇博客参考：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/转载自:http://blog.csdn.NET/fansy1990软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用Spark On YARN时（无论是Client模式或者是Cluster模...

原创 分布式理论

CAP定理：参考链接：https://www.cnblogs.com/stateis0/p/9062121.htmlBase理论：参考链接：https://www.cnblogs.com/stateis0/p/9062123.html一致性协议（2pc）：参考链接：https://www.cnblogs.com/stateis0/p/9062126.html一致性协议（3pc）：参考链...

原创 电脑C盘红了如何清理

使用电脑过程中会产生垃圾，有时会遇到电脑运行一段时间后，运行速度会变得很慢，打开我的电脑查看C盘空间占用情况，发现c盘空间不足了，那么电脑c盘满了怎么清理呢?电脑c盘满了怎么清理：点击开始按钮，在“搜索程序和文件”那里输入“cmd”以“管理员身份运行”在命令框内输入“powercfg -H off”关闭“休眠文件将被压缩”右击桌面上的“计算机”，选择“属...

转载 如何优化hive查询过程

在过去几年中，主要受到围绕Stinger计划的Hive社区创新的推动，Hive查询时间得到了显着改善，使Hive能够以速度和规模支持批量和交互式工作负载。但是，许多使用者仍然不熟悉以最快速度运行Hive查询的基本技术和最佳实践。本文中，将重点介绍一些常使用的简单技术，以提高HIVE查询的性能。技术#1：使用TEZHive可以使用Apache Tez执行引擎而不是Map-reduce引擎。...

原创 大数据---房地产大数据分析！

房地产大数据分析方法 李万鸿2018采用大数据辅助房地产分析是大势所趋，提通过对海量数据的分析研究，可以精准地了解政策、城市、市场、土地、住房、价格、用户等各方面因素，并给出智能决策辅助，从而做到“知己知彼，百战不殆”，清醒智慧地开展决策研究等工作，高效率地创造更好的效益。1.房地产大数据分析特点一、大数据有助于精确房地产行业市场定位成功的...

原创 Missing artifact jdk.tools:jdk.tools:jar:1.8/1.7/1.6

近日在进行maven项目创建的时候，在pom.xml中引用maven中坐标下载相应的jar包后，eclipse时提示需要jdk的 tools.jar，看了好多的帖子，都没照搬出好的解决方法。 先说说的问题。我的jdk1.8在安装时没有自动生成jdk和jre这两个文件夹，所以缺少tools.jar这个包。查看一下，如果说你的C盘或者存储jdk的盘下的lib文件夹下有tools.jar 包的话...

原创 MapReduce的执行流程

MapReduce 执行流程:(shuffle在maptask和reducetask之间)1、 数据的底层存储：文件在hdfs中以Block的方式存放时，假如分为3块，为了计算逻辑切片的大小，用FileInputFormat类获得get split方法进行切片，理论上一个切片==一个块区，最后一个逻辑切片的大小默认为140.8M。一个切片对应一个maptask任务。2、 Mapta...

原创 Yarn工作执行流程

(job的提交)：客户端向resourcemanager提交job请求，申请资源。Resourcemanager向客户端返回一个job_id以及共享资源路径hdfs/tmp客户端将共享资源放在共享资源路径下(job.jar,job.xml,job.xml)。客户端向resourcemanager返回共享资源放置成功的响应，真正提交应用程序。Resourcemanager向客户端返回一个...

原创 Hive正则解析器RegexSerDe解析多字节字段

从table表中将name对应列的值抽取出来，通过row formatserde ‘org.apache.hadoop.hive.serde2.RegexSerDe’with serdeproperties (‘input.regex’=’(.)\|\|(.)’,‘output.format.string’=’%1ss %2ss’)stored as textfile;其中 (.*)代表字段...