- 博客(71)
- 收藏
- 关注
RSS订阅原创 解决用海豚调度时,yarn处理大量并发任务很慢的问题
公司用的海豚调度,工作流里同时运行了二十多个插入sql,yarn只有两个任务同时运行,并且一直在卡这,到获取tez session这不动,检查了下tez的超时时间,600s改成了10s,同时在ambari上给yarn增加了一个队列hive,各分50添加了并刷新保存...
2022-04-22 09:53:33
2856
3
原创 公司项目quick run
一 用idea版本控制拉取下来,项目克隆地址主要是maven配置文件的网址,还有下载下来的jar包完整不完整,不报错还报红不行就重来如果拉下来的不是maven项目,没有maven侧边栏(有可能出现这个问题),先在project structrue里把jdk配置正确,再双击shift打开搜索栏,输入Maven,点击+Add Maven Projects并选择主要pom文件pom文件依赖大量报红,包括project标签这个问题大部分原因是maven 配置文件settings里没有公司项目相关依赖
2022-01-07 14:30:35
665
原创 idea构建spark maven项目需要的Windows Hadoop环境,依赖
1.windows配置Hadoop环境下载Hadoop安装包,https://hadoop.apache.org/releases.html,点击binary即可,下载下来的是归档压缩文件,直接解压环境配置,常见错误,如果Java安装文件夹是默认的C盘文件夹,会因为权限不够无法访问,此时可以将D:\Hadoop\hadoop-2.10.1\etc\hadoop\hadoop-env.cmd里的Java环境变量改掉bin文件夹下要添加winutils.exe,不然spark项目能编译成功但会报
2021-12-31 09:49:31
2518
1
原创 typora+gitee做个人笔记本
1 注册登录gitee,创建一个仓库2 建一个存笔记的文件夹,typora可以打开这个文件夹,可以正常写笔记3 右键git bash here初始化git init连接远程仓库git remote add notes https://gitee.com/xxxx/markdownFile.git添加到暂存区,也可以指定某个文件git add *提交到本地仓库git commit -m "描述"推送到远程仓库git push notes master如果第一次用,可能要填用户名
2021-11-19 11:59:56
618
原创 redis概述
redis概览是一个单进程单线程模型的基于内存的高性能的key-value内存型数据库支持数据的持久化,提供string,list，set，zset(sortedset)，hash等数据结构的存储,支持主从备份,3.x后分布式布署操作原子性,丰富的实用特性，如订阅-发布模式(可替换Kafka)，生产者消费者模式，key过期等常用易用的模式主要场景是加速客户端访问速度或其它要加速提效的功能点,做一些缓存或限时任务等java操作redis,加入jedis依赖测试流程链接上re
2021-11-18 23:06:49
1134
原创 SparkSql
sparksql:Spark SQL是Spark处理数据的一个模块专门用来处理结构化数据的模块，像json，parquet，avro，csv。DataFrames API：与RDD相似，增加了数据结构scheme描述信息部分。比RDD更丰富的算子，更有利于提升执行效率、减少数据读取、执行计划优化。DataSets API：集成了RDD强类型和DataFrames结构化的优点面向DS编程，可以与其它Spark应用代码无缝集成。SparkSQl特点：可以利用SQL、DataF
2021-11-15 00:04:00
1428
转载 spark_java_wc
用java实现spark wordcount步骤1.初始化spark conf, 设置app nameSparkConf conf = new SparkConf(); conf.setAppName("JavaSparkWordCount-4-job011");2.//构建java spark contextJavaSparkContext jsc =new JavaSparkContext(conf);3.定义输入文件,本地或是hdfs等均可if (args == n.
2021-11-12 00:31:23
82
转载 scala+spark1
一、集合collection概念说明该集合与java中的集合类似，只是scala重新实现了自身的集合抽象分为可变集合和不可变集合常用集合列表序号集合类说明1Scala List(列表)元素以线性方式存储，集合中可以存放重复对象。2Scala Set(集合)集合中的对象不按特定的方式排序，并且没有重复对象。3Scala Map(映射)KV对存储4Scala 元组元组是不同类型的值的集合5Scala Option表示有可
2021-11-11 00:10:33
253
原创 开发细节与风险控制
开发细节与风险控制开发细节当中即伴随着各种各样的风险，并要即时反馈和处理风险，如工作量评估、技术难度评估、人员变更、需求变更等等，故我们将两者放在一起，不可拆分。一. 开发细节主要有九部分:确定数据源文件集合将源数据装载到hive仓库编写udf分词生成分词结果表生成wordcount倒排表,按词频降序排列将hive表推送到MySQL表前端展示,搭建spring boot项目前端加入echarts绘图插件前端界面生成集成前端页面1.1 确定数据文件集合确定数据集
2021-11-02 22:52:21
689
原创 app热点分析
其内容结构为，共包含6个字段，分别为(appId,app名称, 一级分类,二级分类,三级分类,Tags描述信息)，但并不一定完全规整，视实际情况可能左对齐包括四个或五个或六个字段。建表CREATE TABLE app_abstract_info(appId string ,appname string ,firstlevel string,secondlevel string,thirdlevel string,tags string )ROW FORMAT DELIMITE.
2021-10-29 22:11:30
876
转载 数据仓库企业应用
一.数据仓库的架构设计数据仓库的主要工作就是ETL Extract-Transform-Load的缩写1.2数据架构架构原则:先水平,在垂直数据架构分三层:源数据落地区: (SDF source data file)数据仓库层: DW Data WareHouse数据集市层: DM Data Market数据仓库层进一步分三层源数据层:DWB Data WareHouse Base细节数据层:DWD Data WareHouse汇总数据层:DWS Data War
2021-10-29 00:24:19
299
转载 2021-10-26
一、hive分区分区操作属于hive操作的重量级操作分区在hdfs上物理结构是目录非严格模式：no~动态分区要打开非严格模式二、表数据删除方法对比说明：drop，delete，truncate联系：都可以达到删除数据的目标。区别：Drop：把数据和元数据全删除；delete：按照条件删除数据；（只会删除实体数据）Truncate：截断数据，元数据不动，状态数据会删掉。大数据环节中写入要注意：1.是否要求输出目录存在；上传要求put copy需要写入基本不需要2.
2021-10-26 23:01:52
83
原创 Hive架构设计原理
Hive架构设计原理一、架构设计特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接二、运行流程三、基本使用1.在能操作hive的用户下,hive回车[dingtao@cluster3 ~]$ hive2.此时已进入hive cli,这里的操作和MySQL里基本一致,!exit 或是 !quit均可以退出,老版本exit3.操作总结使用简单面向数据和业务编程hive数据模型数据类型1.数值型类型说明
2021-10-26 00:19:11
652
原创 HIVE概述
HIVE产生背景由于大数据的发展,为了降低大数据处理的成本和难度为了专门,完整的解决基于Hadoop的数据仓库构建问题传统的数据仓库如oracle,sqlserver,sybase,Teradata等，均是完美支持SQL标准的，对hadoop数据仓库提供了实现支持Facebook的强大商业需求与商业化运作,由Facebook贡献定义Hive是建立在 Hadoop 上的数据仓库基础架构和解决方案架构：支持拿来即用，亦支持灵活的参数和计算引擎的变更作用和意义拿出了数据仓库构建的完整
2021-10-26 00:10:56
508
转载 git简单回顾
一.什么是git?开源的分布式版本管理系统二.工作原理?架构:工作流程2.1分支管理:2.1.1什么是分支?针对不同用途或重大更新，给项目起的不同用途的名字，用以显式区分各个项目版本之间的不同2.1.2分支的作用为了更好、更清晰、更简洁、更专业的版本迭代、开发效率提升而应用。内部数据存储方式:git统一存储单元管理元数据,存放在称为.git的目录中三.gitshell应用git init /创建本地仓库git add 文件名 //叫文件到缓存区git commit -m
2021-10-22 22:06:28
67
原创 yarn001
一丶习题回顾，注意点 工具类的编写和使用 分布式计算当中的沙箱机制 sandbox保障数据安全的一种机制，例：在hdfs读取分布式中的文件时，config需要作为参数传入，该任务的所有操作权限均在该目录中完成。 MapReduce中迭代器注意不要重复使用，会造成数据错误或报错。 设置压缩格式，代码中，shell中 设置reduce数量，shell中设置 设置Partition分组条件，代码中设置或shell中设置 MR应用之读取外部配置文件-Con
2021-10-20 23:59:02
78
原创 M/D具体代码和hdfs数据格式详解
WordCount类一、drver 类Configuration：与HDFS中的Configuration一致，负责参数的加载和传递Job：作业，是对一轮MapReduce任务的抽象，即一个MapReduce的执行全过程的管理类FileInputFormat：指定输入数据的工具类，用于指定任务的输入数据路径FileOutputFormat：指定输出数据的工具类，用于指定任务的输出数据路径实现先得到集群的配置参数,用 Configuration类将集群参数设置到本次的job实例中,Job
2021-10-19 23:36:55
264
转载 普通web项目转成普通maven项目碰到的问题(idea)
普通web项目转成普通maven项目碰到的问题路径疑惑1.src/main相当于之前的src,而java文件夹就相当于一个标识,表示这是Java代码2.原来的src下的配置文件可以直接放在main下,也可以放在同级的resources(跟上面的Java一样)下(优先resources)3.webapp是原来的web也可以创建这个maven比较轻量报错ContainerBase.addChild: start: org.apache.catalina.LifecycleException: 无
2021-09-14 18:05:50
272
原创 springmvc入门
SpringMVC 是一个web端框架，用来处理不同的请求响应不同的请求处理 在Controller中返回一个字符串就可以通过视图解析映射到相应的jsp页面xml形式：导入相关jar包 配置web.xml 指定DispatcherServlet为我们所有请求路径的处理 默认会在web.xml平级目录中找与当前servlet名称前缀一样的xml配置文件 bisc-servlet.xml 如果bisc-servlet.xml配置文件没有在这个位置，我们可以通过...
2021-09-07 18:36:19
70
原创 spring整合JdbcTemplate sql语句报错
org.springframework.jdbc.BadSqlGrammarException: StatementCallback; bad SQL grammar [Delete from user where name= 正辉]; nested exception is com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column ‘正辉’ in ‘where clause’原语句jt.execute("Del
2021-09-07 11:10:04
561
转载 mybatis 分页插件 源码分析 懒加载 注解开发 缓存
PageHelper 插件的使用导入jar包 在mybatis-config.xml中配置插件<!--配置分页插件--><plugins> <plugin interceptor="com.github.pagehelper.PageInterceptor"></plugin></plugins>在查询的结果集前 传入我们要分页的参数PageHelper.offsetPage(起始值,分页单位);在查询的结果..
2021-09-01 09:09:17
117
转载 mybatis分页 动态sql,关联查询
常用标签的介绍mybatis配置文件的标签Properties resource: 直接可以获取类路径 <properties resource=”jdbc.properties” /> url: 指定文件所在位置的绝对路径<properties url=”d:/a/b/jdbc.properties” />使用properties配置时有两种方式 方式一： <properties><prop...
2021-08-30 23:01:30
116
转载 Mybatis入门
1、什么是框架 一个软件或系统的半成品，帮助我们快速开发的一个架子。 使用框架后更好的进行二次开发维护，对不同的资源进行合理分配。 举例：钢筋架子结构，水泥浇灌 2、mybatis相关 mybatis是一个orm框架，对象关系映射的持久层框架，只要与数据库交互的框架都是orm框架 使用mybatis可以实现动态sql的控制，可以提供...
2021-08-29 20:12:23
59
原创 解决idea 2020 http://mybatis.org/dtd/mybatis‐3‐config.dtd 报红,导入项目报红
idea 2020 http://mybatis.org/dtd/mybatis‐3‐config.dtd 报红要精确到那个文件
2021-08-27 21:51:08
743
转载 Java反射
反射1、反射的定义反向探知，在程序运行中动态的获取或操作类中的属性就是反射。1.1、初探反射：获取Class对象的四种方式1 Class clazz1 = User.class;2 Class<?> clazz2 = Class.forName("com.tledu.pojo.User");3 Class<? extends User> clazz3 = new User().getClass();4 Class<?> clazz4 = UserTest.
2021-08-26 22:14:50
59
转载 拦截器Filter
FilterFilter 概述 生活中的过滤器：净水器,空气净化器，土匪、web中的过滤器：当访问服务器的资源时，过滤器可以将请求拦截下来，完成一些特殊的功能。过滤器的作用： 一般用于完成通用的操作。如：登录验证、统一编码处理、敏感字符过滤...执行流程 环境搭建 1 创建filter.实现filter覆写方法2 注册和映射 设置字符编码 设置字符编码-优...
2021-08-24 09:10:13
79
转载 会话管理、拦截器
初始化时机 第一次请求 默认servlet是在第一次请求的时候,调用无参构造创建对象,并调用init方法并且只执行一次Load-on-startup默认 是 -1 启动tomcat的时候 或者是注解方式启动tomcat的时候初始化当我们发送请求的时候 只需要执行doGet即可会话管理通过前两天的编码,我们已经掌握了Servlet+JSP的使用,能够做到使用http请求进...
2021-08-22 22:06:50
69
原创 2021-08-19
跳转页面,jsp,el表达式页面跳转请求转发只会发送一条请求只发送一条请求,地址栏不变,还是index,客户端无感知跳转因为只发送了一条请求,所以request中数据共享适合向页面传递数据,比如数据展示,可以通过后端把数据获取,然后设置到request中并转发到对应的jsp页面,在jsp页面进行操作@WebServlet("/a/b/c")public class _01_Forward extends HttpServlet { @Override protected void d
2021-08-19 23:42:28
66
转载 servlet,jsp及相关问题
问题汇总 缓存 还是不行 就删除tomcat 重新安装 自动部署 如果没有开着自动构建 导致 编写完之后不会生成class文件,导致ClassNotFunt 找不到对应的类如果 开启自动构建 还是提示未找到1 程序是否有错看是否报红2 是否生成class如果没有生成,可能是因为程序有错,如果程序没有错误,还是不生成class可能因为之前报错了,及时现在更改了,但是依然出现了缓存问...
2021-08-19 00:08:44
192
转载 servlet
avaWEB-Servlet知识点1.Web流程1.1 软件架构1. C/S：客户端/服务器端基于客户端,需要有指定的APP,比如手机上的淘宝和电脑上的淘宝/QQ等,得先下载并安装就可以使用,不依赖与其他软件B/S：浏览器/服务器端基于浏览器,比如网页版淘宝,网页版百度,只要有浏览器就可以通过地址进行访问1.2 资源分类1. 静态资源：所有用户访问后，得到的结果都是一样的，称为静态资源.静态资源可以直接被浏览器解析，如： html,css,JavaScript,内容都是在
2021-08-18 00:22:13
291
转载 eclipse tomcat的安装
1 安装 TomCat 服务器只要运行TomCat服务器,运行起来之后,我们就可以通过浏览器输入 127.0.0.1:8080/xxx 这种形式,来让前后端进行交互解压到任意位置,建议到软件安装目录解压之后 就安装好了2 TomCat目录结构重要的几个目录1 bin : 存放各种平台下启动和关闭Tomcat的脚本文件启动TomCat关闭TomCat2 conf : 配置conf/server.xml 服务器的主配...
2021-08-18 00:10:23
704
原创 jQuery 的Ajax
知识点jQuery Ajax介绍(1)、什么是 AJAX？AJAX 是与服务器交换数据的技术，它在不重载全部页面的情况下，实现了对部分网页的更新。 AJAX = 异步 JavaScript 和 XML（Asynchronous JavaScript and XML）。简短地说，在不重载整个网页的情况下，AJAX 通过后台加载数据，并在网页上进行显示。(2)、关于 jQuery 与 AJAX1、如果没有 jQuery，AJAX 编程还是有些难度的。2、编写常规...
2021-08-16 22:18:04
156
原创 Ajax基础
知识点Ajax介绍(1)、老版的请求代web程序最初的目的就是将信息（数据）放到公共服务器上，让所有的网络用户都可以通过浏览器访问。 我们一般都是通过以下方式让浏览器发送服务器请求，获得服务器数据地址栏输入地址 特定元素的href 或者src属性 表单提交弊端：这些方案我们很难通过代码的方式进行编程，而且每次请求都会刷新网页。、什么是Ajax1、AJAX(Asynchronous JavaScript and XML)异步的 JavaScript 和...
2021-08-16 22:15:27
117
原创 jQueryHTML与插件
jQueryHTML与插件知识点jQuery 对HTML的设置与捕获jQuery 中非常重要的部分，就是操作 DOM 的能力。jQuery 提供一系列与 DOM 相关的方法，这使访问和操作元素和属性变得很容易。、html() html() - 设置或返回所选元素的内容（包括 HTML 标记）。$("#btn2").click(function(){alert("HTML: " + $("#test").html()); });$("#btn2").click(funct.
2021-08-16 22:10:57
100
原创 js dom-2bom初识
节点操作、什么是节点根据 W3C 的 HTML DOM 标准，HTML 文档中的所有内容都是节点：整个文档是一个文档节点 document每个 HTML 元素是元素节点HTML 元素内的文本是文本节点每个 HTML 属性是属性节点注释是注释节点、节点类型通过noteType属性可以获取节点的类型document的节点类型---9console.log(document.nodeType);//9标签的节点类型---1varbox1=docume...
2021-08-13 23:24:27
185
原创 js dom-01
DOM概念事件基础文档对象模型（Document Object Model，简称DOM），是W3C组织推荐的处理可扩展标志语言的标准编程接口。在网页上，组织页面（或文档）的对象被组织在一个树形结构中，用来表示文档中对象的标准模型就称为DOM。Document Object Model的历史可以追溯至1990年代后期微软与Netscape的“浏览器大战”，双方为了在JavaScript与JScript一决生死，于是大规模的赋予浏览器强大的功能。微软在网页技术上加入了不少专属事物，既有VBScript、Ac
2021-08-12 22:03:18
119
原创 js-对象
js-对象创建对象字面量var person = { name:'张三', age:'18', sex:'男' toString: function () { console.log("姓名:" + this.name + " , 年龄:" + this.age + " , 性别:" + this.sex); } }person.toString();console.log(person.name);
2021-08-11 20:30:12
64
原创 js-函数
js 函数函数声明常规函数声明可以在任何地方调用fn1();function fn1(){ console.log(12);}表达式声明,只能在声明后调用// fn2();fn2 is not a function var fn2 = function(){ console.log(45);}fn2();函数使用js的函数类似Java的方法,更加简化,但是它的函数名是唯一的,如果重复了就覆盖,所以不能重载function fn3 (a,b){
2021-08-11 20:29:26
51
原创 js-数组
js数组-02数组的使用script中的数组下标和值可以理解成键值对数组声明一维数组var nums = [1,2,3,4,5];下标也是从0开始二维数组var arr =[ [1,2,3], [1,2,3,4,5], [1,54] ];数组操作属性和Java中类似//控制台显示指定元素console.log(nums[0]);//length是数组长度console.log(nums[nums.length-1]);//最后一位//写入nums [2]=33;nums[
2021-08-11 20:28:51
74
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人