- 博客(34)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 基于Ambari2.7.4集群搭建详解
集群安装部署一、 Ambari安装准备工作版本：Ambari2.7.4+HDP3.1.4是最后一个免费版本，新版本需要授权。集群规划192.168.18.124 master 主节点192.168.18.125 node1 从节点192.168.18.126 de2 从节点1.关闭防火墙暂停防火墙服务systemctl stop firewalld.service设置防火墙服务开机不自启systemctl disable firewalld.service查看防火墙
2021-08-27 11:31:51
929
原创 hive3.1.2 flink写数据到hive报错Reading or writing ACID table.....
hdp3.1 hive 3.0的使用记录近来在做项目中的技术调研，使用最新版的hdp3.1,其中使用spark2.3和hive 3.1.遇到 一些问题，记录如下：一，使用spark-sql client driver去访问hive创建的数据库，发现找不到，使用presto访问hive,只能读写外部表。经过查询资料了解到，hive3.1默认对内部表支持事务和ACID特性，spark等外部工具无法直接读取ACID的表数据，spark新版本正在跟进，但spark-sql本身也在和hive分离，走自己的.
2021-08-11 15:44:48
1102
1
原创 you can disable this check with the configuration ‘classloader.check-leaked-classloader‘
Exception in thread “Thread-3” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library an
2021-08-11 10:36:19
4658
5
原创 Caused by: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Pe
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]org.apache.flink.table.api.TableException: Could not execute CreateTable in path hive_catalog.hi
2021-08-10 14:46:32
2272
原创 state=08S01,code=0
Error: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.18.24:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*<
2021-08-10 14:09:28
1664
原创 Could not execute CREATE CATALOG............
org.apache.flink.table.api.ValidationException: Could not execute CREATE CATALOG: (catalogName: [hive_catalog], properties: [{hive-conf-dir=/usr/local/apache-hive-3.1.2-bin/conf, default-database=test, type=hive}])at org.apache.flink.table.api.internal.Ta
2021-08-09 15:17:31
2138
原创 idea 运行问题： Command line is too long.Shorten command line ..
Error running ‘CdcToKafkaDemo’: Command line is too long. Shorten command line for CdcToKafkaDemo or also for Application default configuration解决方法：修改项目下 .idea\workspace.xml，找到标签 ， 在标签里加一行{if(){}//递归终止条件else(){for(){A();//这里进行了一个递归，当for循环次数过多，而且递归终止条件难以达成的时候，栈内存就会溢出}}}摸索了很久（确实是
2020-06-23 10:35:45
2250
原创 流量项目总结
硬件配置规模：Sca是一个单独的hadoop集群（24个节点，每个节点的配置：412core CPU,101T硬盘，64G/128G内存）Tas有一个单独的hadoop集群（部署了hive）（35节点）预处理ftp采集集群（6节点，上面部署了采集程序及zookeeper服务）Storm集群(单独)（手机位置实时分析&详单输出解析入hbase库）（10节点）kafka&zoo...
2019-07-17 07:16:22
803
原创 java基础总结
1.1.排序：快排:选择排序：将第一个和后面每一个比较 最小的放前面。public static void sort( int[] arr){//外层循环的是轮数for( int j=0; j<arr.length-1 ;j++){//内层循环的是每一轮的比较for ( int i =j+1; i< arr.length ; i++){if( arr [j] <...
2019-06-14 07:53:01
640
原创 JVM总结
内存虚拟机规范中，将内存划分为六大部分，分别是PC寄存器（程序计数寄存器）、JAVA虚拟机栈、JAVA堆、方法区、运行时常量池以及本地方法栈。（由于运行时常量池是由方法区分配出来的区域。）内存管理对于内存管理可分为内存分配和内存释放这几个内存区域可以大致分为两部分，全局共享 和线程独有。对于线程独有这部分内存，有PC寄存器/JAVA虚拟机栈/本地方法栈。它们都是随着线程的启动而创建，随着...
2019-06-14 07:43:15
135
原创 shell编程基础笔记
第一部分shell编程基础1shell简介什么是shell存取权限和安全shell简单脚本shell特性1.1什么是shellshell是核心程序kernel之外的指令解析器，是一个程序，同时是一种命令语言和程序设计语言。shell是命令解析器，用户输入命令，它去解析。shell类型 ash、bash、ksh、csh、tcshcat /etc/shells 看系统下的s...
2019-06-03 08:08:00
515
转载 秒杀抢购
最近做了一个点餐的平台，其中涉及到一个很重要的问题，活动期间的秒杀系统的实现。抢购/秒杀是如今很常见的一个应用场景，是高并发编程的一个挑战，在网上也找了一些资料，大部分都是理论，关于java的实现也是很少，就算有也是很简单的demo，为此，决定将此次实现的秒杀系统整理一番，发布出来。架构思路Question1: 由于要承受高并发，mysql在高并发情况下的性能下降尤其严重，下图为Mysql性...
2019-05-16 06:26:20
761
转载 流量运营分析ESOP
政企运营分析ESOP政企物理集市客服专题、重入网、套餐分析、客户细分、资费预演、客服综合运营分析地市数据分析中心营销快点、取数快点、自助报表报表库综合分析类表报\指标库、持续性离网挽留、多维成本分析、市场运营监控大数据平台：为流量经营提供海量数据的存储和分析处理能力。流量经营的应用还是部署在创新平台上。互联网内容分析、WLAN运营分析、终端价格提升、业务识别...
2019-05-15 22:46:36
1808
转载 中国移动业务支撑系统简介（BOSS、BASS、BOMC、4A及VGOP）
业务支撑系统（Business Support Systems，简称BSS）主要应用于通信行业，通过该系统对用户执行相应业务操作。它采用省中心/全国中心两级系统架构，两级系统相辅相成，共同构建全网服务/全网运营的运营支撑能力。省中心将侧重于省内业务的运营，在满足个性化、本地化的业务需求的基础上，提供标准化的接口以满足全网运营的要求，通过业务支撑系统提供全网共享、一致的业务和服务能力，实现面向客户...
2019-05-14 22:57:51
4512
原创 java链表实现
package Test2;import Test.Node;/**Created by Administrator on 2019/4/28.*/public class LinkList {class Node{private int data;private Node next;public Node(int data){this.data=data;}}pri...
2019-04-28 23:37:45
190
原创 Kafka
Kafka介绍在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。高吞吐量发布订阅消息系统KAFKA + STORM +REDISApache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incuba...
2019-04-25 23:45:46
176
原创 Storm
1.5.2.storm介绍Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口，便于开发。http://apache.fayea.com/应用场景日志分析从海量日志中分析出特定的数据，并将分析的结果存入外部存储器用来辅佐决策。管道系统将一个数据从一个系统传输到另外一个系统，比如将数据库同步到Hadoop消息转化器将接受到的消息...
2019-04-25 23:45:11
145
原创 hadoop
1.1.Hadoop介绍Hadoop：是一个由Apache基金会所开发的分布式系统基础架构 。Hadoop适合应用于大数据存储和大数据分析的应用，适合于服务器几千台到几万台的集群运行，支持PB级的存储容量。Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。Hadoop核心：HDFS: Hadoop Distributed File System 分布式文...
2019-04-25 23:44:19
202
原创 Spark源码
Master和Worker Akka实现RPC通信原理1.首先启动Master （actorSystem.actorof），然后启动所有的Worker2.Worker启动后，在preStart方法中与Master建立连接，向Master发送注册，将Worker的信息(tcp协议，hostname 端口等)通过case class封装起来发送给Master3.Master接收到Woker的注册...
2019-04-25 23:37:16
349
原创 spark调优总结
1.10.用户访问session分析方案1、按条件筛选session先查出指定的任务，获取任务的查询参数进行session粒度聚合，从用户访问表（user_visit_action）查询指定日期范围内的行为数据将session粒度聚合数据 与用户信息进行join。得到RDD最后进行session数据过滤 ( filter算子。ValidUtil工具类)2、聚合统计：统计出符合条件的s...
2019-04-25 23:36:14
436
原创 storm安装及报错解决
集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群一、环境准备三台虚拟机关闭防火墙，配置hosts安装java，并配置环境变量二、搭建zookeeper集群2.1解压tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/2.2修改配置cd /home/hadoop/app
2016-10-27 15:30:08
566
原创 对hadoop集群安装一些问题总结
1/运行mr程序出错connecting to resoucemanager retrying .... retrying .....原因是没有启动yarn或者启动失败2/初始化工作目录结构hdfs namenode -format 只是初始化了namenode的工作目录而datanode的工作目录是在datanode启动后自己初始化的3/
2016-10-16 21:54:35
373
原创 linux安装mysl出错
看到“conflicts”，是产生冲突了，文件“/usr/share/mysql/charsets/*”需要MySQL-server-5.6.19-1.linux_glibc2.5.x86_64版本的，而系统已经存在mysql-libs-5.1.71-1.el6.x86_64版本的！解决办法：执行以下命令，删除mysql-libs-5.1.71-1.el6.x86_64
2016-09-06 16:58:20
254
原创 spring源码研究之路_IOC
目前在企业级项目开发中几乎都会使用spring。Spring是基于IOC和AOP的一套编程框架，提供了JAVAEE各层的解决方案，可以称为框架粘合剂。首先我们来说一下IOC，IOC是spring最核心的理念，包括AOP也要屈居第二，那么IOC到底是什么呢，四个字，控制反转。详细点说是通过引入工厂，将对象创建的权利，交给工厂来管理。利用这种思想可以很好实现模块间的解耦。 public
2016-09-05 10:42:53
374
原创 jquery eval解析JSON
在JS中将JSON的字符串解析成JSON数据格式，一般有两种方式：使用eval()函数、使用Function对象来进行返回解析在JS中将JSON的字符串解析成JSON数据格式，一般有两种方式： 1.一种为使用eval()函数。 2. 使用Function对象来进行返回解析。 使用eval函数来解析，并且使用jquery的each方法来遍历 用jquery解析JS
2016-04-05 21:24:52
426
翻译 Java 导入包正确依旧报错的处理方法
今天做项目的时候，遇到了个纠结的问题：导入的包包明明正确，其路径也货真价实，可就是偏偏在Myeclipse中报错。然后反复删掉后重新导入包和多次尝试与服务器同步更新，统统都是无效，依旧报错，咱办呢？解决发方法：选择Project->Clean，然后选择Clean projects selected below，接着选中你的项目，点击OK。终于解决啦！
2016-04-04 21:25:41
1353
转载 深入理解HTTP Session
session在web开发中是一个非常重要的概念，这个概念很抽象，很难定义，也是最让人迷惑的一个名词，也是最多被滥用的名字之一，在不同的场合，session一次的含义也很不相同。这里只探讨HTTP Session。 为了说明问题，这里基于Java Servlet理解Session的概念与原理，这里所说Servlet已经涵盖了JSP技术，因为JSP最终也会被编译为Servlet，两者
2016-01-25 20:09:45
224
转载 Java中toString方法作用
public String toString()返回该对象的字符串表示。通常， toString 方法会返回一个“以文本方式表示”此对象的字符串。结果应是一个简明但易于读懂的信息表达式。建议所有子类都重写此方法。Object 类的 toString 方法返回一个字符串，该字符串由类名（对象是该类的一个实例）、at 标记符“@”和此对象哈希码的无符号十六进制表示组成。换句话说，该方法返回
2016-01-04 17:23:15
273
业务支撑系统平台.pptx
2019-05-14
flink提交任务时，session模式不报错，但是pre-job模式会报错
2021-10-20
flink流式计算时，D操作类型数据处理
2021-07-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人