- 博客(43)
- 收藏
- 关注
转载 Presto on Spark:扩展 Presto 以支持大规模 ETL(转载)
前言Facebook 的数据仓库构建在 HDFS 集群之上。在很早之前,为了能够方便分析存储在 Hadoop 上的数据,Facebook 开发了 Hive 系统,使得科学家和分析师可以使用 SQL 来方便的进行数据分析,但是 Hive 使用的是 MapReduce 作为底层的计算框架,随着数据分析的场景和数据量越来越大,Hive 的分析速度越来越慢,可能得花费数小时才能完成。而且 Facebook 也尝试使用外部的一些项目,但是都无法满足自己的需求,基于这些情况,Facebook 从 2012 年秋季开始
2020-09-05 09:38:32
848
转载 Scala(一):概述&变量&流程控制(转载)
文章目录一、简介 1.1 scala语言的特点 1.2 第一个scala程序二、变量 2.1 Scala变量的使用 2.2 Scala数据类型 2.3 值类型转换三、循环控制 3.1 分支控制if-else 3.2 for循环控制Spark—新一代内存级大数据计算框架,是大数据处理的重要框架。Spark就是使用Scala编写的。因此为了更好的学习Spark,需要掌握Scala这门语言一、简介1.1 scala语言的特点Scala是一门
2020-09-04 13:30:31
237
转载 Hive 核心原理(hive-3.1.2)(转载)
一、Hive 概述1.1 Hive 是什么由Facebook开源用于解决海量结构化日志的数据统计基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并且提供类SQL的查询功能Hive仅仅是一个工具,本身不存储数据只提供一种管理方式,同时也不涉及分布式概念,就是个软件而已Hive本质就是MapReduce,将类SQL(HQL)转换成MapReduce程序1.1.1 HQL转换MR流程在这里插入图片描述解释:Hive处理的数据存储在HDFSHive分析数据底层默认实现是
2020-09-04 10:12:39
530
转载 打造高性能 Kafka队列(转载)
目录一、原理简述二、Producer 原理三、Producer 端参数详解四、Kafka Server 基本原理五、KafkaServer 主分区与副本数据同步原理六、KafkaServer 零拷贝原理七、KafkaServer Leader 选举八、KafkaConsumer 原理九、KafkaConsumer 参数详解十、性能优化方案一、原理简述【1】Producer 将消息进行分组分别发送到对应 leader节点;【2】Leader 将消息写入本地 log;【3】Follo
2020-09-03 13:38:21
168
转载 Redis源码-BFS方式浏览main函数(转载)
文章目录前言看代码的方式Redis 服务器的 main 函数main 函数分段解释函数名及参数启动测试程序程序环境初始化初始化配置信息存储参数信息根据参数确定启动方式处理并加载命令行参数打印启动和警告信息守护模式和初始化哨兵模式判断启动并加载持久化数据打印内存警告并启动事件监听彩蛋总结redis-server前言欠下的技术债慢慢还,继续为去年吹过的牛而努力。去年年末的时候意识到自己掌握的知识还不够深入,决定开始看一些开源项目的源码,因为当时 Redis 的兴起,所以瞄
2020-09-03 09:49:53
310
转载 SpringCloud搭建分布式服务架构(通俗易懂,步骤清晰)(转载)
问题引入:什么是SpringCloud?(在了解这个之前需要有微服务的概念)基于springBoot的一套实现微服务的框架,提供了微服务所需的配置管理,基于Http协议的restful风格(返回异步数据)SpringCould组件架构图在这里插入图片描述由于在一台电脑上演示分布式项目,需要创建多个项目模块步骤:创建父类工程maven工程,修改pom文件,将打包方式改为pom创建服务工程(注册中心)SpringBoot模块,选择需要导入的包,具体见下截图在这里插入图片描述在这里插入图片描述
2020-09-02 13:30:18
861
转载 打造高性能 Kafka队列(转载)
目录一、原理简述二、Producer 原理三、Producer 端参数详解四、Kafka Server 基本原理五、KafkaServer 主分区与副本数据同步原理六、KafkaServer 零拷贝原理七、KafkaServer Leader 选举八、KafkaConsumer 原理九、KafkaConsumer 参数详解十、性能优化方案一、原理简述【1】Producer 将消息进行分组分别发送到对应 leader节点;【2】Leader 将消息写入本地 log;【3】Follo
2020-09-02 09:56:15
116
转载 如何实现 OpenAPI 多语言 SDK 开发?(转载)
如今 OpenAPI 已经成为完成系统之间集成的重要桥梁,OpenAPI 的可用性以及用户在使用时的体验就变得越来越重要,阿里云前架构师曾说过:“阿里云的本质是一家卖 API 的公司。API 有没有做好,是关乎生死的大事”。但是从日常来自用户的反馈中我们总结了以下比较通用的几点 OpenAPI 体验问题:云产品 OpenAPI 没有提供 SDK 或者 SDK 语言不全;部分云产品的 SDK 使用风格差异过大,导致使用成本增加;API 文档缺失或者不够清晰,不具备指导意义;没有场景化 Code Sam
2020-09-01 15:28:34
276
转载 Logstash:使用 aggregate filter 处理 N:N 关系(转载)
在 Logstash 中有一个叫做 aggregate 的 filter。此过滤器的目的是聚合属于同一任务的多个事件(通常是日志行)中的可用信息,最后将聚合的信息推送到最终任务事件中。你应该非常小心地将 Logstash 过滤器工作程序设置为 1(-w 1 标志),此过滤器才能正常工作,否则事件可能会被按顺序处理,并且会发生意外的结果。在 Elastic 的官方文档中,你可以看到很多相应的例子。在今天的例子中,我们将以一个关系数据库的例子为例来讲述如何把一个关系数据库中的数据导入到 Elasticsear
2020-09-01 10:33:49
636
转载 浅谈flask与ctf那些事(转载)
最近跑了培训写了点flask的session伪造,没能用上,刚好整理了一下先前的资料把flask三种考过的点拿出来写写文章。debug pin本地先起一个开启debug模式的服务:-- coding: utf-8 --from flask import Flaskapp = Flask(name)@app.route("/")def hello():return ‘hello world!’if name == “main”:app.run(host=“0.0.0.0”, port=80
2020-08-31 14:23:14
533
转载 Apache HTTPD 换行解析漏洞(CVE-2017-15715)与拓展(转载)
之前就看了这个漏洞,但是当时没有认真思考叫因为只是一个%0a绕过就OK没有理解原理,现在来填坑环境启动与版本漏洞1.在apache2.40~2.4.29版本中存在这个漏洞2.这么我使用的是vulhub环境搭建进入目录编译及运行漏洞环境:docker-compose builddocker-compose up -d启动后Apache运行在http://your-ip:8080**漏洞原理在该版本的配置中<FilesMatch .php>SetHandlerapplicati
2020-08-31 09:41:20
166
转载 轻松理解 MySQL InnoDB 索引、B+树索引、查询原理(转载)
前言索引对于DB查询的性能起到至关重要的作用。对于索引如何提升查询性能,通常都会拿查字典来做类比。字典前面会有拼音索引,我们查字典会先查拼音索引,以此来提高查字典的速度。对于这个类比,我们可以思考的更深入点,看看通过拼音索引提升查询速度的根本原因是什么。我们考虑如下几个问题:1、通过拼音索引能直接定位到字的具体位置吗?不能,拼音索引只能定位到字所在的页,如果想找到所要的字或者词,还需要在页中再次定位。这个过程和InnoDB的索引设计相同,通过索引只能定位到数据所在页。2、定位到页后,如何定位到具体字
2020-08-28 10:45:28
131
转载 零起步教你搭建Discuz!论坛(转载)
这段时间,拜美国所赐,大家对鲲鹏生态非常关注,特别是基于鲲鹏920cpu的鲲鹏架构服务器,引起了大家的激烈讨论。应该说大部分网友对鲲鹏架构服务器还是持支持态度的,但是部分不太了解具体情况的网友,特别是一些被以前此起彼伏的“伪自主,真诈骗”的新闻伤心了的网友,对此还是持怀疑态度的。有质疑才有进步,批判“假恶丑”才能发现“真善美”,我们就现身说法,通过具体的应用来展示鲲鹏服务器的能力。当然,鲲鹏服务器现实中大部分是用在大数据和AI处理等地方,说实话,这有些太高端,咱就不做实验了,这次通过在鲲鹏服务器上部署大家
2020-08-27 13:40:11
469
1
转载 Python描述数据结构之队列实战篇(转载)
文章目录前言LeetCode933:最近的请求次数LeetCode641:设计循环双端队列LeetCode622:设计循环队列结束语前言 LeetCode中有关队列的题目。LeetCode933:最近的请求次数 LeetCode的第933题:最近的请求次数。 这个题首先要读懂题|ू・ω・` ),题的意思可以理解为有一个队列,然后计算队列元素在区间[t-3000,3000]内的的个数。代码如下:class RecentCounter:def init(self
2020-08-26 14:25:38
104
转载 Redis-持久化(RDB和AOF)(转载)
文章目录RDB配置测试AOF配置修复如何选择Redis是内存数据库,所以一旦断电或服务器进程退出,都会丢失数据,所以Redis提供了持久化功能。RDBRDB(Redis DataBase)Redis默认数据库,快照。在指定间隔时间内将内存中的数据集快照写入磁盘,即Snapshot快照,恢复数据时直接将快照文件读到内存。工作原理当 Redis 需要保存 dump.rdb 文件时, 服务器执行以下操作:Redis 调用forks. 同时拥有父进程和子进程。子进程将数据集写入到一个临
2020-08-26 10:10:28
116
转载 LeetCode 7.整数反转(转载)
原题链接:LeetCode 7. 整数反转文章目录题目信息题目描述示例示例 1示例 2示例 3注意题解解题思路解题代码提交情况题目信息题目描述 给出一个 32 位的有符号整数,你需要将这个整数中每位上的数字进行反转。示例示例 1输入: 123输出: 321示例 2输入: -123输出: -321示例 3输入: 120输出: 21注意 假设我们的环境只能存储得下 32 位的有符号整数,则其数值范围为 [−2^31, 2^31 − 1]。请根据这个假设,如果
2020-08-25 13:41:02
79
转载 【HW2020漏洞回顾】深信服EDR两大漏洞(转载)
深信服终端检测响应平台EDR,围绕终端资产安全生命周期,通过预防、防御、检测、响应赋予终端更为细致的隔离策略、更为精准的查杀能力、更为持续的检测能力、更为快速的处置能力。支持统一化的终端资产管理、终端病毒查杀、终端合规性检查和访问控制策略管理,支持对安全事件的一键隔离处置,以及对热点事件IOC的全网威胁定位。绝大多数的EDR管理平台部署于内网环境中,少数系统可以通过外网地址访问。NO.1 后台任意用户登陆漏洞【详情】攻击者可以通过构造payload绕过登录判断,直接拿到系统管理员/用户权限。漏洞影响版
2020-08-25 09:29:21
3098
转载 MySQL中float、double、decimal三个浮点类型的区别与总结!(转载)
Author:3# 一个专注于web技术的80后核心就是一句话:软件开发要知其然知其所以然。CSDN@3#,CSDN官方首发,`3#原创博客: ???? 极客小俊GeekerJun ????下表中规划了每个浮点类型的存储大小和范围:类型 大小 范围(有符号) 范围(无符号) 用途float 4 bytes (-3.402 823 466 E+38,-1.175 494 351 E-38),0,(1.175 494 351 E-38,3.402 823 466 351 E+38) 0,(1.175
2020-08-24 12:04:44
1107
转载 Spark Streaming 快速入门系列(6) | DStream的几种保存方式(转载)
大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客主页:https://buwenbuhuo.blog.csdn.net/本片博文为大家带来的是DStream的几种保存方式。1目录保存到文本
2020-08-21 14:00:06
209
转载 Git详细教程(二):window系统下,使用服务器搭建属于自己的Git仓库(转载)
第一步:下载安装git1、官方下载地址:https://git-scm.com/downloads2、在服务器上安装Git,安装步骤如下图:第二步、 创建Git本地仓库① 下载安装gitblit1、需要使用Gitblit,下载地址:http://www.gitblit.com/。下载后的软件直接解压即可,无需安装。2、需要配置java环境变量,不会的可以参考下面这篇博客:https://blog.csdn.net/qq15577969/article/details/795156213、在D
2020-08-21 10:25:25
317
转载 Docker容器学习笔记二(狂神说Java)(转载)
Docker容器学习笔记二(狂神说Java)狂神说B站视频:https://www.bilibili.com/video/BV1og4y1q7M4?p=21Docker容器学习笔记一(狂神说Java):https://blog.csdn.net/qq_41822345/article/details/107123094文章目录 Docker容器学习笔记二(狂神说Java) 六、容器数据卷 1.什么是容器卷? 2.使用数据卷
2020-08-20 17:07:22
525
转载 WSL2的安装详细过程(转载)
这部分记录了如何安装wsl,以及如何升级到wsl2的心酸历程。文章目录版本要求 升级windowsWSL的安装 升级到WSL2 安装linux分发版排查安装问题 相关链接记录所踩的坑版本要求安装wsl2对系统版本有硬性的要求:运行 Windows 10(已更新到版本 2004 的内部版本 19041 或更高版本)。通过按 Windows 徽标键 + R,检查你的 Windows 版本,然后键入 winver,选择“确定”。 如果内部版本低于 19041,请
2020-08-20 16:20:40
3320
转载 Redis学习笔记-从理论到实践,不止get/set(转载)
Redis学习笔记概述:一、Redis五大数据类型1.1 Redis-key1.2 String1.3 List1.4 Set1.5 Hash1.6 Zset二、Redis三种特殊数据类型2.1 geospatial2.2 hyperloglog2.3 Bitmap三、Redis基本的事务操作四、Redis的乐观锁监视测试五、使用Jedis操作Redis1、导入对应的依赖2、编码测试3、常用API六、通过Jetis再次理解事务七、SpringBoot集成Redis
2020-08-19 15:16:55
262
转载 Java基础学习第一天(转载)
第1章 Java基础语法标题1、数据类型1.1 八种基本数据类型整型:byte 、short 、int 、long浮点型:float 、 double字符型:char布尔型:boolean1.1.1整型(byte、short、int、long)虽然byte、short、int、long 数据类型都是表示整数的,但是它们的取值范围可不一样。byte 的取值范围:-128~127(-2的7次方到2的7次方-1)short 的取值范围:(-2的15次方到2的15次方-1)int 的取值范
2020-08-19 10:11:58
83
转载 it培训机构 java、php CSDN最权威的惊天内幕 血的教训 [必看] 初学编程到底应不应该去(转载)
Author:3# 一个专注于web技术的80后核心就是一句话:软件开发要知其然知其所以然。CSDN@3#,CSDN官方首发,`3#原创博客: ???? 极客小俊GeekerJun ????我先随便来一段代码: 以下是一段简单的分页代码不是重点 不用看! <?php $_navigation=''; $_navigation.=''; //当前页大于1的时候 if($_pageNow>1)
2020-08-18 14:02:46
364
转载 数据库系统原理【四】(转载)
文章目录第七章:数据库应用设计与开发实例一、需求描述与分析二、系统设计三、系统实现四、系统测试与维护1.基于PHP语言的Mysql数据库应用PHP操作Mysql数据库的基本步骤第八章:数据管理技术的发展一、数据库技术发展概述1.数据库技术的发展阶段2.第三代数据库系统的特征二、数据仓库与数据挖掘1.数据仓库及其特征传统的数据库技术 VS 数据仓库2.数据仓库的三个概念3.什么是数据挖掘4.数据挖掘的功能5.数据挖掘的步骤三、大数据管理技术1.大数据及其特征【BIG D
2020-08-18 10:18:07
74
转载 搭建华为FusionCompute虚拟化平台(转载)
最小实验要求:两台服务器1、通过BMC口安装CNA操作系统远程光驱安装CNA,需要设置服务器从远程光驱启动,然后进入BIOS可以查看BMC控制台的用户名和密码,以及IP,一般服务器都默认有。然后登陆BMC的控制台,进入后戴尔服务器点击控制台和介质(例如BMC的IP:192.168.8.8 注意:把自己PC的IP设置成和BMC口的IP在同一个网段)挂载镜像fusioncompute 6.3.1 CNA.iso在这里插入图片描述冷启动在这里插入图片描述ISO选择从光盘启动(惠普按F11)点击ins
2020-08-17 13:28:54
2054
转载 Linux下并发程序设计(3)——Unix间通信方式(转载)
线程共享同一进程的地址空间,这个地址空间的代码和全局变量每个线程都可以访问,这样就使得线程的通信很容易。但是在进程中不同的进程有不同的地址空间,那么两个进程之间如何进行通信就成了一个难题,实际中Linux有很多机制来实现两个进程间的通信。 我们都知道Linux是从Unix发展来的,早期的Unix进程间通过无名管道(pipe)、有名管道(fifo)、信号(signal)的方式进行通信。在System V中进程间通信又有共享内存(share memory)、消息队列(message queue)、信号灯级
2020-08-17 10:00:33
83
转载 HWComposer合成显示流程分析(转载)
在介绍HWComposer合成显示流程前,需要先了解下 AndroidO显示体统架构如下图:AndroidO显示体统架构如Linux Android display architecture其中的SDM架构setUpHWComposer介绍在SurfaceFlinger进行合成显示的时候,首先需要初始化HWC,代码为setUpHWComposervoid SurfaceFlinger::setUpHWComposer() {…for (size_t dpy=0 ; dpy<m
2020-08-14 14:08:54
4875
转载 详细介绍阿里云搭建RocketMq(转载)
首先介绍一下RocketMq依赖的必备环境:1.JDK1.8安装完成,配置环境变量:JDK1.8安装2.Maven3.6.3安装完成,配置环境变量;一、下载并解压缩RocketMq下载压缩包:wget http://mirror.bit.edu.cn/apache/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip1解压缩:unzip rocketmq-all-4.7.1-bin-release.zip1注意:如果unzip命令不能使用,则
2020-08-14 10:39:44
485
转载 python os模块 --- 操作系统接口模块(转载)
文章目录1.OS模块下的常见函数2.应用示例1.OS模块下的常见函数os模块os.sep:取代操作系统特定的路径分隔符os.getcwd:得到当前工作目录,即当前python脚本工作的目录路径。os.getenv()和os.putenv:分别用来读取和设置环境变量os.listdir():返回指定目录下的所有文件和目录名os.remove(file):删除一个文件os.stat(file):获得文件属性os.mkdir(name):创建目录os.rmdir(name):删除目录os
2020-08-13 13:36:02
199
转载 程序员写出这样的代码,能不挨骂吗?(转载)
当你换槽填坑时,面对一个新的环境。能够快速熟练,上手实现业务需求是关键。但是,哪些因素会影响你快速上手呢?是原有代码写的不够好?还是注释写的不够好?昨夜,闲情雅致,瞅了瞅隔壁小王的代码,看完之后真是太上火,气不打一处来。于是,把小王犯的错误拉了个清单,一起帮他改进一下,顺便看看这些坏习惯,你是否也有呢?过度相信别人,会给自己挖坑。针对接口输入参数,没有进行严格校验,尤其是要插入数据库库的参数,一路透传到底(数据库层面),数据库就报数据插入异常。对于调用者而言,会一直等待接口响应,而最后拿到
2020-08-13 09:17:51
196
转载 docker+elk7.8实战之单机搭建es集群(转载)
配置篇1.docker安装配置#yum更新到最新yum update#安装依赖包yum install -y yum-utils device-mapper-persistent-data lvm2#设置yum源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo#查看docker所有版本yum list docker-ce --showduplicates | sort
2020-08-12 14:26:44
519
转载 XP Professional开机就要激活,否则无法登录桌面(转载)
上个月有门课程实验需要XP系统,所有参考这篇博客:VMware Workstation:安装windows xp系统在虚拟机中装了xp专业版,当时成功安装并激活了,但是一个月后出现了这样的问题:(这里截取了该文章下的一条评论,该读者与我出现的问题一样)网上有很多方法,本文参考这篇文章XP Professional开机就要激活,否则无法登录桌面.对其中重要步骤进行配图1.开机按F8 进入安全模式(这一步我卡了好久,可能是手速不够吧)首先第一个点是:一定要将鼠标定位在虚拟机内,我的快捷键是Ctrl+G第二
2020-08-12 10:16:33
2063
转载 jsp中el表达式和jstl标签(转载)
bean 豆在java中是类的意思jar 罐子在java中是一个包的意思,里面有多个类el表达式(Expression Language)JSP表达式语言(EL表达式)访问存储在JavaBean(java 类)中的数据变得非常简单主要用法在jsp中原生的java代码和HTML标签看起来比较混乱引入了el表达式在这里插入图片描述在这里插入图片描述精确查找如request.setAttribute(key,value)如果key为模糊查找在页面中{key}为模糊查找在页面中key为模
2020-08-11 15:02:08
106
转载 Linux系统中如何自动挂载光盘(转载)
作者:RodmaChen关注我的csdn博客,更多Linux笔记知识还在更新本人只在csdn写博客前言:其实不单单挂载光盘,还可以挂载其他硬件设备,原理差不多,更多了解可以看这篇文章Linux——物理设备介绍——挂载硬件设备讲解将光盘挂载到/media目录,并将光盘的挂载写入/etc/fstab文件,使之开机自动挂载,重启计算机测试效果。1.使用vi /etc/fstab进入编译模式,配置好箭头指向的信息在这里插入图片描述如果有问题就不能正常启动了,所以建议认真输入,可以用虚拟机功能快照。
2020-08-11 13:28:07
589
转载 Java基础知识一周学习总结(转载)
Java基础知识一周总结认识JavaJava语言是一种强类型语言,在Java语言中英文字母的大小写等这些都有规定,知道Java是一种强类型语言之后,我们再来了解与Java语言息息相关的JDK,jdk是Java语言的开发工具,jdk中又包含jre 和jvm,jre是Java语言的运行环境,jvm是虚拟计算机,使Java语言能够在不同的操作系统上都能够运行,从而我们便可以知道Java语言的特点:跨操作系统和可移植性,不同的操作系统下载安装相应的jdk后都要对jdk进行环境变量的配置,可以让Java程序在不同
2020-08-10 16:53:57
116
转载 网络安全初入茅庐 --- 简易 sqlmap 制作(转载)
前景提要学习网络安全有一段时间了,用惯了其他人编写的工具,决心自己写一个入门级别比较简单的小工具自己使用练习。运行演示进入一个 sqli-lab 的靶场当作测试网站。在这里插入图片描述获取其 url 地址:https://96e2b87c-897e-3af7-bdc1-fdfea8bde004-1.anquanlong.com/Less-1/index.php?id=1运行程序在这里插入图片描述代码解析首先检测网站是否存在 sql 注入,通过闭合单双引号以及布尔判断检测def can_i
2020-08-10 14:53:35
166
转载 让你的 Linux 终端变得酷炫复古 | Linux 中国(转载)
导读:怀旧?那就安装复古终端应用程序 cool-retro-term 吧 —— 顾名思义,它既酷又复古。本文字数:1940,阅读时长大约:2分钟https://linux.cn/article-12432-1.html作者:Abhishek Prakash译者:Xingyu.Wang怀旧?那就安装复古终端应用程序 cool-retro-term 吧 —— 顾名思义,它既酷又复古。你还记得那个到处都是 CRT 显示器,终端屏幕经常闪烁的年代吗?你不需要那么老,就能见证它的存在。如果你看上世纪九十年
2020-08-08 14:14:44
226
转载 jvm OOM异常的模拟(转载)
OutOfMemoryError异常在JVM内存区域中,除了程序计数器外,其他内存区域都有可能发生OOM异常,下面我们来一一模拟每个内存区域OOM异常的场景。先介绍几个JVM参数:-Xms:设置JVM初始堆内存的大小。-Xmx:设置JVM最大堆内存的大小。-Xmn: 设置年轻代的大小、-Xss:设置每个线程对应的栈的大小。-XX:+HeapDumpOnOutOfMemoryError:发生OOM异常时生成heap dump文件-XX:HeapDumpPath=path:heap dump文件
2020-08-08 11:30:56
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人