- 博客(73)
- 收藏
- 关注
RSS订阅原创 SparkSql第一天学习
SparkSql第一天SharkShark 是基于 Spark 计算框架之上且兼容 Hive 语法的 SQL 执行引擎，由于底层的计算采用了Spark ，性能比 MapReduce 的 Hive 普遍快2倍以上，当数据全部加载在内存的话，将快10倍以上，因此 Shark 可以作为交互式查询应用服务来使用。除了基于Spark的特性之外，shark是完全兼容HIve的语法，表结构以及UDF函数等，已有的Hive Sql 可以直接进行迁移至 Shar...
2021-12-11 17:37:23
1777
原创 Spark第二天的学习
Spark第二天学习算子（多文件）行动算子foreachPartition：遍历的数据是每个partition的数据转换算子union合并两个数据集，然后两个数据集的类型要一致转换算组joinleftOuterJoinrightOuterJoinfullOuterJoin这些 join 都是...
2021-12-09 19:43:28
1399
原创 Spark第一天学习
Spark第一天学习Spark介绍简介：Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark 是加州大学伯克利分校的AMP实验室所开源的类 Hadoop MapReduce 的通用并行计算框架， Spark 拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job 中间输出结果可以缓存在内存中，从而不再需要读写 HDFS ，减少磁盘数据交互，因此 Spark 能更好地适用于数据挖掘与机器学习...
2021-12-07 17:18:19
1127
原创 Scala学习第三天
Scala第三天学习柯里化函数柯里化(Currying)指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。可以理解为高阶函数的简化。和我们文档中上面的函数的返回类是函数的例子进行比较。fn(a,b,c,d)=>fn(a)(b)(c)(d)；fn(a,b,c,d)=>fn(a，b)(c)(d)；fn(a,b,c,d)=>fn(a)(b，c，d)；Scala集...
2021-12-06 20:13:42
387
原创 Scala第二天学习
Scala学习002闭包通常是一个函数，返回值依赖于声明在函数外部的一个或多个变量闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数//匿名的函数,函数体内有一个变量 i，它作为函数的一个参数。val multiplier = (i:Int) => i * 10//multiplier 中有两个变量：i 和 factor。其中的一个 i 是函数的形式参数//multiplier 函数被调用时，i 被...
2021-12-06 19:16:31
86
原创 Scala学习第一天
Scala语言初始01简介创始人：Martin Odersky马丁·奥德斯基Scala是一门以jvm为运行环境的静态类型变成语言，具备面向对象及函数式编程的特性六大特性Java 和 scala 可以混编2. 类型推测(自动推测类型)3. 并发和分布式（ Actor ）4. 特质，特征(类似 java 中 interfaces 和abstract 结合)5. 模式匹配（类似 java 中...
2021-12-03 19:48:06
311
原创 clickHouse下篇
clickHouse下篇数据标记数据标记作为衔接一级索引和数据的桥梁，其像极了做过标记小抄的书签，而且书本中每个一级章节都拥有各自的书签。数据标记和索引区间是对齐的，均按照index_granularity的粒度间隔。为了能够与数据衔接，数据标记文件也与.bin文件一一对应。每一个列字段[Column].bin文件都有一个与之对应的[Column].mrk数据标记文件，用于记录数据在.bin文件中的偏...
2021-12-02 22:20:33
444
原创 ClickHouse
ClickHouse简介实时数据分析数据库，开发语言为C++，是一个用于联机分析的列式数据库管理系统，简称CK，工作速度比传统方法快100-1000倍。每秒钟每台机器每秒处理数十亿多行和数千兆字节的数据特点开源的列存储数据库管理系统，支持线性扩展，简单方便，高可靠性容错跑分快：比Vertica快5倍，比Hive快279倍，比MySQL快800倍，其可处理的数据级别已经达到10亿级别...
2021-11-30 21:17:45
1777
原创 HDFS的读写流程
hdfs的宏观写入流程：1.首先就是客户端向NameNode发送写入数据的请求。2.文件系统通过rpc调用NameNode的create的功能。与此同时NameNode会检查是否有这个地址或者说是有这个权限去创造这个文件。如果存在，则返回给客户端一个确认消息，表明-你可以写入数据了，并同时创建一个空的对象Entry；但是如果没有的话，那我就只能返回给你一个错误信息了。3.当DFS接收到这个确认消息之后，文件系统就会调用这个create功能给客户端创建一个对象FSDataO...
2021-11-29 22:53:43
271
原创 Storm学习
stormstorm简介Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语，使我们的批处理程序变得简单和高效Storm的优点Storm 实现的一些特征决定了它的性能和可靠性的，Storm 使用 Netty 传送消息,这就消除了中间的排队过程,使得消息能够...
2021-11-29 20:41:07
1113
原创 kafka第一天学习
Kafka异步通信原理1.1观察者模式-发布订阅模式一对多的依赖关系，使得一个对象改变状态，则所有依赖于它的对象都会得到通知并自动更新。1.2生产消费者模式传统模式生产者直接将消息传递给指定的消费者耦合性特别高，当生产者或者消费者发生变化，都需要重写业务逻辑生产者消费者模式通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而...
2021-11-26 21:05:32
1709
1
原创 大数据学习20天
大数据学习二十天DataX-WebDataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。任务"执行器"支持集群部署，支持执行器多节点路由策...
2021-11-24 19:56:01
760
转载 idea报错：Failed to execute goal org.codehaus.mojo:exec-maven-plugin:3.0.0:exec (default-cli)
idea版本：2020.3 idea 报错：在查阅了资料以后发现是IDEA2020的兼容问题Failed to execute goal org.codehaus.mojo:exec-maven-plugin:3.0.0:exec (default-cli) on project sms: Command execution failed.解决方法：测试不要用main方法测试，使用junit测试 更换版本至IDEA2017 File ->Settings -> Build, Exe
2021-11-24 19:42:10
2430
原创 电脑自动删除settings.xml
这都不知道是第几次了，每一次打开settings.xml都没了直接不知道怎么回事，在这里把setting.xml在这里备用一份，大不了没此都来这里拿就是了。<?xml version="1.0" encoding="UTF-8"?><!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE f.
2021-11-22 17:56:01
483
原创 大数据学习第十九天
大数据学习第十九天Flume自定义MySqlSourceSource是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据...
2021-11-19 18:56:08
1531
原创 HBase第二天学习
HBase第二天Hbase表设计要点行健设计行健不能改变，唯一可以改变的方式是先删除后插入长度原则Rowkey 是一个二进制码流，最大长度是64KB，建议越短越好。10-100长度即可，不要超过 16 个字节。数据的持久化文件 HFile 中是按照 KeyValue 存储的，如果 Rowkey 过长比如 100 个字 节，1000 万列数据光 Rowkey 就要占用 100*1000 万=10 亿个字节，将近 1G 数据，这会极大...
2021-11-16 22:56:31
947
原创 HBase第一天学习
HBase第一天学习HBase的访问方式进入退出：hbase shellexitshell实现DDl操作创建一个表：create 'member','member_id','address','info'获得表的描述：list（查看所有的表）describe ‘member’（查看member表的详细信息）删除一个列簇：alter、disable、enab...
2021-11-16 22:54:00
553
转载 虚拟机克隆后无法连接网络
本文章转载自：Linux-无线图标莫名消失的解决方法_xin1889的博客-CSDN博客今天我的也是的觉得再弄个虚拟机麻烦，索性就直接克隆了，然后连不上网，就连接原来的可以，连接百度也可以，但是唯独ping自己不行，然后不知道怎么回事，同事们也不知道为啥，就去网上找，然后就看到了这个。设置了这一条命令，然后重启虚拟机就好了# mv /var/lib/NetworkManager /var/lib/NetworkManager.bak非常感谢！...
2021-10-28 19:51:16
1195
原创 linux的基础命令
首先就是基础的增删改查了： 增;创建文件夹：mkdir 创建文件：touch 删：删除空文件夹：rmdir 删除文件夹： rm 强制删除（没有提示）：rm -rf 改：linux里面的改剪切可以做到：mv 文件名 新文件名 或者 mv 地址/文件名 地址（这个及时剪切） 查：stat：查询文件的信息 ...
2021-10-26 20:59:08
145
原创 Linux的基础配置
首先下载VMware Workstation Pro这个东西，网上都有的。https://linux.org/然后我们创建一个新的虚拟机。这里选择典型就可以了，然后链接：https://pan.baidu.com/s/13aw0-2OQ4FyWCfRtn1W2-A提取码：7777这一步随便你啥名字，然后安装位置要看好。然后我们为虚拟机分配内存，这里要选择100，学大数据的话，太少可不够用然后点击完成就可以了等着就好然后后面的就不截图了，也没啥可.
2021-10-26 20:21:50
79
原创 计算机的硬件软件体系
1. 冯诺依曼体系：计算机中的一切都是二进制的2.计算机的硬件组成：输入设备：鼠标、键盘、手机输出设备：打印机、显示器运算器：运算出来的东西储存在运算器中控制器：控制和指挥程序的输出与运行，以及处理结果存储器：Rom：容量大，速度慢，物理Io RAm：容量小，舒服快，逻辑IO，掉电易失硬盘的分类：机械硬盘、固态硬盘 机械硬盘：表面凹凸不平，且凹的部分为0，凸为1被磁化，距离主轴越远，速度越快。顺序写入，随机读出，且每三个扇区...
2021-10-26 19:52:06
165
原创 Zuul服务网关
什么是zuul： zuul是从设备和网站到应用程序后端的所有请求的前门。作为边缘服务的应用程序，旨在实现动态路由、监视、弹性和安全性。包含了队请求的路由和过滤这两个最主要的功能。 zuul是Netflix开源的服务网关，它可以和Eureka、Ribbon、Hystrix等组件配合使用。核心就是一系列的过滤器。并以过滤器完成以下的功能：1.身份认证与安全：识别每个资源的验证要求，并拒绝那些与要求不符的请求。2.审查与监视：在边缘位置追踪有意义的数据和统计结果，从而带来精确的...
2021-10-22 22:03:14
396
原创 Sentinel哨兵
Sentinel是什么？？ 随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel是面向分布式服务架构的流量控制组件，主要以流量为切入点，从流量控制、熔断降级、系统自适应保护等多个维度来报障微服务的稳定性。Sentinel具有以下特征： 丰富的应用场景：Sentinel承接了阿里巴巴近10年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容器的可承受范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。 完备的实时监控：Senti...
2021-10-22 21:11:59
69
原创 Hystrix服务容错
什么是Hystrix Hystrix 源自 Netflix 团队于 2011 年开始研发。2012年 Hystrix 不断发展和成熟，Netflix 内部的许多团队都采用了它。如今，每天在 Netflix 上通过 Hystrix 执行数百亿个线程隔离和数千亿个信号量隔离的调用。极大地提高了系统的稳定性。 在分布式环境中，不可避免地会有许多服务依赖项中的某些服务失败而导致雪崩效应。Hystrix 是一个库，可通过添加等待时间容限和容错逻辑来帮助您控制这些分布式服务之间的交互。Hystrix...
2021-10-22 21:10:30
141
原创 consul集群版
我们在电脑上安装了单机版之后还需要安装一个在Linux上可以运行的集群版的安装了首先我们需要有三个虚拟机 服务器IP Consul类型 Node节点 192.168.18.100 server server-00 192.168.18.110..
2021-10-20 22:50:08
75
原创 Consul注册中心
Consul角色：客户端，无状态，将HTTP和DNS接口请求转发给局域网内的服务端集群。server：服务端，保存配置信息，高可用集群，每个数据中心的server数量推荐为3个或者5个服务发现与注册： 当服务Producer启动时，会将自己的Ip/host等信息通过发送请求告知Consul，Consul接收到Producer的注册信息后，每隔10s（默认）会向Producer发送一个健康检查的请求，检验Producer是否...
2021-10-20 22:44:46
305
原创 Eureka注册中心
什么是注册中心： 注册中心是微服务架构中的"通讯录"，他记录了服务和服务地址的映射关系。在分布式架构中，服务会注册到这里，当服务需要调用其他服务时，就到这里找到服务的地址，进行调用。 就是：在没有注册中心的时候，服务间的调用需要知道被当当服务调方的具体地址（写死的ip：port）。更换部署地址，就不得不修改调用当中的指定地址。而有了注册中心之后，每个服务在调用别人的时候只需要知道服务名称（软编码）就可以了，地址都会通过注册中心根据服务名称获取到具体的服务地址进行调用。常见...
2021-10-20 22:38:20
61
原创 微服务的历史
技术架构的演变：单一应用架构：类似于我们做的crm项目，所有的服务都在一个项目工程中，牵一发而动全身，一个模块挂了，整个项目都会宕机。特点： 应用与数据分开部署 所有的功能打一个war包部署到服务器 通过部署应用集群和数据库集群来提高系统的性能优点： 开发简单：一个ide就可以快速构建单体应用，一个开发人员就可以完成前端后端 数据库等。 便与共享：单个归档文件包含所有功能，便于在团队以及不同的部署阶段之间共享。 易于测试...
2021-10-18 20:21:45
150
原创 电商项目第七天
1.什么是单点登录？？1.1单点登录（Single Sign On）简称sso，是定义在多个应用系统中的，用户只需要一次登录就可以访问所有相互信任的应用系统，就好像微信一样，我没有登录微信去打开微信钱包，钱包系统会检测我有没有登录，检测到我没有登录，再发消息去sso再次检测我有没有登录，sso检测我没有登录，那么这个时候就会返回一个登录界面让我登录，我输入用户名和密码把用户信息发送回sso，sso会去数据库里检测有没有我这个用户，如果我的输入没有问题，那么我就登录成功，并将我的信息储存在s...
2021-10-17 17:07:45
205
原创 电商项目第六天
今天完成了商品分类数据的展示：首先再创建两个模块：shop-Portal（电商项目首页的展示）和shop-Rpc（远程服务的调用）创建方法前面写了，这里就不多写了导入pom.xml依赖：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSche..
2021-10-17 16:59:15
2135
原创 电商项目第五天
电商项目的相册的实现：使用shop-generator生成商品相册pojo、mapper修改shop-generator项目的配置文件、运行util工具类第一步：生成商品相册（t_goods_images）、pojo、mapper第二步：编辑ftl页面、修改后台代码前端：在goods.add.ftl:的上传商品图片中添加form表单<form enctype="multipart/form-data"> <!--文件上传成功的地址的隐藏域-...
2021-10-17 16:46:16
216
原创 电商项目第四天
富文本编辑器（UEditor）：UEditor是由百度WEB前端研发部开发的所见即所得的开源富文本编辑器，具有轻量、可定制、用户体验优秀等特点。开源基于BSD协议，所有源代码在协议允许范围内可自由修改和使用。百度UEditor的推出，可以帮助不少网站开发者在开发富文本编辑器所遇到的难题，节约开发者因开发富文本编辑器所需要的大量时间，有效降低了企业的开发成本官网：http://ueditor.baidu.com/教程文档地址：UEditor DocsAPI文档地址：GitHub..
2021-10-11 20:23:37
137
原创 电商项目第三天
今天深入研习三级分类:在前端页面写下这些：<#list 1...6 as x><tr role="row" align="center" class="1" id="1_1"><#list 1...5 as y><tr role="row" align="center" class="2" id="2_12"></tr></#list></tr></#list>这上面的就是..
2021-10-08 21:08:42
109
原创 电商项目第二天
今天老师讲了电商的第二天的知识，但是因为我的加载页面没出来，也找不出原因，只能重新去看视屏，感觉老师今天就讲了怎么添加，然后就是三级分布。商品添加-根据父id：@Override public List selectCategoryListByParentId(short parentId) { // 创建查询对象 GoodsCategoryExample example = new GoodsCategoryExample(); // where条件 example...
2021-09-29 20:03:41
222
原创 电商项目第一天笔记
电商项目：今天是电商项目的第一天，首先老师给我们回顾了之前学的指示点：dubbo（这个框架还没搞定）：首先就是dubbo的六大作用：1.服务自动注册与发现2.负载均衡及智能容错3.透明化的远程方法调用dubbo的特点：连通性、健壮性、伸缩性、升级性、架构的演变：单体应用：crm：独立的war包业务模块递增，业务拆分复杂（基本不可以拆分）、耦合度高、跨语言困难、项目部署机器资源浪费严重Rpc：远程过程调用（跨虚拟机），框架：Thrift、Grpc、dub...
2021-09-27 21:42:22
178
原创 项目的bug笔记
Failed to execute goal on project ...: Could not resolve dependencies for project ...见到这样的，子项目中的什么与父项目的没连接上，然后子项目的install出错有可能就是没有先运行父项目的下载需要先下载父目录这样就不会报错了。...
2021-09-27 19:10:43
63
原创 云e办第一天
项目部署：云e办为例（前后端分离）先检查是否安装（检查安装命令：node -v npm -v）前端需要node环境，也就是node（npm install）的下载，然后运行服务（npm run serve）这里我昨天看前端的时候，需要的vue是3.0，而我们安装的是2.9，需要卸载（npm uninsall vue-cli -g）再重装（npm install -g @vue/cli），也不知道这个命令是怎么回事，反正安装不上，今天听讲看看。云e办项目运行过程中的问题...
2021-09-23 19:30:43
161
原创 redis的安装
https://www.cnblogs.com/lqblods/p/12098057.html刚开始在网上怎么弄都有问题，直到看到这个，虽然大同小异，可是这个就是成功了，值得点赞
2021-09-06 19:03:42
57
原创 jsp知识点重点
浏览器jsp，html之间的关系 1.JSP与JavaServlet一样，是在服务器端执行的，通常返回该客户端的就是一个HTML文本，因此客户端只要有浏览器就能浏览 2.在大多数Browser/Server结构的Web应用中，浏览器直接通过HTML或者JSP的形式与用户交互，响应用户的请求 3.JSP在服务器上执行，并将执行结果输出到客户端浏览器，我们可以说基本上与浏览器无关 jsp和servlet的区别和联系：1.jsp经编译后就变成了Servlet.(JSP的本质就是Se...
2021-08-13 22:16:13
254
原创 jsp和servlet
doget和dopost的区别1.doget只有一个流。参数附加在url之后，地址显示的是要传送的信息，大小个数有严格的限制且只能是字符串。2.post的参数是通过另外的流传递的，不通过url，所以可以很大，也可以传递二进制数据，如文件的上传。3.安全a：get调用url里显示正在传送给servlet的数据，这在系统的安全方面可能带来问题，例如用户名，或者密码等。post就可以在一定程度上解决此类问题b：服务器的接收方式：服务器随机接收get方法的数据，一旦断电等原因，服务器也不知道是..
2021-08-13 21:23:12
58
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人